psycopg2 COPY using cursor.copy_from () friert bei großen Eingaben ein

Betrachten Sie den folgenden Code in Python unter Verwendung von psycopg2cursor object (Einige Spaltennamen wurden aus Gründen der Übersichtlichkeit geändert oder weggelassen):

filename='data.csv'
file_columns=('id', 'node_id', 'segment_id', 'elevated', 
              'approximation', 'the_geom', 'azimuth')
self._cur.copy_from(file=open(filename),
                    table=self.new_table_name, columns=file_columns)
Die Datenbank befindet sich auf einem Remotecomputer in einem schnellen LAN.Using\COPY from bash funktioniert auch bei großen Dateien (~ 1.000.000 Zeilen) sehr schnell.

Dieser Code ist für 5.000 Zeilen ultraschnell, aber wenndata.csv wächst über 10.000 Zeilen hinaus, das Programm friert vollständig ein.

Irgendwelche Gedanken \ Lösungen?

Ada

Antworten auf die Frage(4)

Ihre Antwort auf die Frage