python pandas to_sql с sqlalchemy: как ускорить экспорт в MS SQL?
У меня есть датафрейм с примерно 155 000 строк и 12 столбцов. Если я экспортирую его в csv с dataframe.to_csv, на выходе будет файл размером 11 МБ (который создается мгновенно).
Однако если я экспортирую в Microsoft SQL Server с помощью метода to_sql, это займет от 5 до 6 минут! Никакие столбцы не являются текстовыми: только int, float, bool и даты. Я видел случаи, когда драйверы ODBC устанавливали nvarchar (max), и это замедляло передачу данных, но это не может быть здесь.
Любые предложения о том, как ускорить процесс экспорта? Из-за 6 минут экспорта 11 МБ данных соединение ODBC практически невозможно.
Спасибо!
Мой код:
import pandas as pd
from sqlalchemy import create_engine, MetaData, Table, select
ServerName = "myserver"
Database = "mydatabase"
TableName = "mytable"
engine = create_engine('mssql+pyodbc://' + ServerName + '/' + Database)
conn = engine.connect()
metadata = MetaData(conn)
my_data_frame.to_sql(TableName,engine)