psycopg2 COPY usando cursor.copy_from () congela com entradas grandes
Considere o seguinte código em Python, usando psycopg2cursor
objeto (alguns nomes de coluna foram alterados ou omitidos para maior clareza):
filename='data.csv'
file_columns=('id', 'node_id', 'segment_id', 'elevated',
'approximation', 'the_geom', 'azimuth')
self._cur.copy_from(file=open(filename),
table=self.new_table_name, columns=file_columns)
O banco de dados está localizado em uma máquina remota em uma LAN rápida.Usando\COPY
from bash funciona muito rápido, mesmo para arquivos grandes (~ 1.000.000 de linhas).Esse código é ultra-rápido para 5.000 linhas, mas quandodata.csv
cresce além de 10.000 linhas, o programa congela completamente.
Quaisquer pensamentos \ soluções?
Adão