Ich habe einen Datenrahmen mit ca. 155.000 Zeilen und 12 Spalten. Wenn ich es mit dataframe.to_csv nach csv exportiere, ist die Ausgabe eine 11-MB-Datei (die sofort erstellt wird).

Wenn ich jedoch mit der Methode to_sql auf einen Microsoft SQL Server exportiere, dauert es zwischen 5 und 6 Minuten! Keine Spalten sind Text: nur Int, Float, Bool und Datumsangaben. Ich habe Fälle gesehen, in denen ODBC-Treiber nvarchar (max) gesetzt haben und dies die Datenübertragung verlangsamt, aber das kann hier nicht der Fall sein.

Haben Sie Vorschläge, wie Sie den Exportvorgang beschleunigen können? Der Export von 11 MB Daten in 6 Minuten macht die ODBC-Verbindung praktisch unbrauchbar.

Vielen Dank

Mein Code ist:

import pandas as pd
from sqlalchemy import create_engine, MetaData, Table, select
ServerName = "myserver"
Database = "mydatabase"
TableName = "mytable"

engine = create_engine('mssql+pyodbc://' + ServerName + '/' + Database)
conn = engine.connect()

metadata = MetaData(conn)

my_data_frame.to_sql(TableName,engine)