psycopg2 COPY using cursor.copy_from () friert bei großen Eingaben ein
Betrachten Sie den folgenden Code in Python unter Verwendung von psycopg2cursor
object (Einige Spaltennamen wurden aus Gründen der Übersichtlichkeit geändert oder weggelassen):
filename='data.csv'
file_columns=('id', 'node_id', 'segment_id', 'elevated',
'approximation', 'the_geom', 'azimuth')
self._cur.copy_from(file=open(filename),
table=self.new_table_name, columns=file_columns)
Die Datenbank befindet sich auf einem Remotecomputer in einem schnellen LAN.Using\COPY
from bash funktioniert auch bei großen Dateien (~ 1.000.000 Zeilen) sehr schnell.Dieser Code ist für 5.000 Zeilen ultraschnell, aber wenndata.csv
wächst über 10.000 Zeilen hinaus, das Programm friert vollständig ein.
Irgendwelche Gedanken \ Lösungen?
Ada