Массовая вставка огромных данных в SQLite с использованием Python
Я прочитал это:Импорт файла CSV в таблицу базы данных sqlite3 с использованием Python
и кажется, что все предлагают использовать построчное чтение вместо массового импорта из SQLite. Тем не менее, это сделает вставку очень медленной, если у вас есть миллионы строк данных. Есть ли другой способ обойти это?
Обновление: я попытался следующий код, чтобы вставить строку за строкой, но скорость не так хорошо, как я ожидал. Есть ли способ улучшить его?
for logFileName in allLogFilesName:
logFile = codecs.open(logFileName, 'rb', encoding='utf-8')
for logLine in logFile:
logLineAsList = logLine.split('\t')
output.execute('''INSERT INTO log VALUES(?, ?, ?, ?)''', logLineAsList)
logFile.close()
connection.commit()
connection.close()