Estoy "convirtiendo" un archivo CSV grande (~ 1.6GB) e insertando campos específicos del CSV en una base de datos SQLite. Esencialmente mi código se ve así:

import csv, sqlite3

conn = sqlite3.connect( "path/to/file.db" )
conn.text_factory = str  #bugger 8-bit bytestrings
cur = conn.cur()
cur.execute('CREATE TABLE IF NOT EXISTS mytable (field2 VARCHAR, field4 VARCHAR)')

reader = csv.reader(open(filecsv.txt, "rb"))
for field1, field2, field3, field4, field5 in reader:
  cur.execute('INSERT OR IGNORE INTO mytable (field2, field4) VALUES (?,?)', (field2, field4))

Todo funciona como lo espero, con la excepción ... TOMA UNA INCREÍBLE CANTIDAD DE TIEMPO PARA PROCESAR. ¿Lo estoy codificando incorrectamente? ¿Hay una mejor manera de lograr un mayor rendimiento y lograr lo que necesito (simplemente convertir algunos campos de un CSV en una tabla SQLite)?

** EDITAR - Intenté importar directamente el csv a sqlite como se sugirió, pero resulta que mi archivo tiene comas en los campos (por ejemplo,"My title, comma"). Eso está creando errores con la importación. Parece que hay demasiados de esos casos para editar manualmente el archivo ...

cualquier otro pensamiento ?? **