Eu li isso:Importando um arquivo CSV para uma tabela de banco de dados sqlite3 usando Python

e parece que todo mundo sugere o uso de leitura linha por linha em vez de usar bulk .import do SQLite. No entanto, isso tornará a inserção realmente lenta se você tiver milhões de linhas de dados. Existe alguma outra maneira de contornar isso?

Atualização: Eu tentei o seguinte código para inserir linha por linha, mas a velocidade não é tão boa quanto eu esperava. Existe alguma maneira de melhorar isso?

for logFileName in allLogFilesName:
    logFile = codecs.open(logFileName, 'rb', encoding='utf-8')
    for logLine in logFile:
        logLineAsList = logLine.split('\t')
        output.execute('''INSERT INTO log VALUES(?, ?, ?, ?)''', logLineAsList)
    logFile.close()
connection.commit()
connection.close()