У меня есть большое количество файлов данных для обработки и хранения в удаленной базе данных. Каждая строка файла данных представляет строку в базе данных, но должна быть отформатирована перед вставкой в базу данных.

Моим первым решением было обработать файлы данных, написав сценарии bash и создав файлы данных SQL, а затем импортировать файлы базы данных SQL в базу данных. Это решение кажется слишком медленным и, как вы можете видеть, включает дополнительный этап создания промежуточного файла SQL.

Моим вторым решением было написание скриптов bash, которые при обработке каждой строки файла данных создают иINSERT INTO ... оператор и отправляет оператор SQL в удаленную базу данных:

echo sql_statement | psql -h remote_server -U username -d database

т.е. не создает файл SQL. Это решение, однако, имеет одну серьезную проблему, по которой я ищу совет:
Каждый раз мне приходится переподключаться к удаленной базе данных, чтобы вставить одну строку.

Есть ли способ подключиться к удаленной базе данных, оставаться на связи, а затем «передать» или «отправить» оператор вставки SQL без создания огромного файла SQL?