psycopg2 COPY usando cursor.copy_from () se congela con entradas grandes
Considere el siguiente código en Python, usando psycopg2cursor
objeto (algunos nombres de columna se cambiaron u omitieron para mayor claridad):
filename='data.csv'
file_columns=('id', 'node_id', 'segment_id', 'elevated',
'approximation', 'the_geom', 'azimuth')
self._cur.copy_from(file=open(filename),
table=self.new_table_name, columns=file_columns)
La base de datos se encuentra en una máquina remota en una LAN rápida.Utilizando\COPY
from bash funciona muy rápido, incluso para archivos grandes (~ 1,000,000 líneas).Este código es ultrarrápido para 5,000 líneas, pero cuandodata.csv
crece más de 10,000 líneas, el programa se congela por completo.
¿Alguna idea \ soluciones?
Adán