Tengo que leer un CSV cada 20 segundos. Cada CSV contiene min. de 500 a max. 60000 líneas. Tengo que insertar los datos en una tabla de Postgres, pero antes de eso tengo que verificar si los elementos ya se han insertado, porque hay una alta probabilidad de obtener un elemento duplicado. El campo para verificar la unicidad también está indexado.

Entonces, leí el archivo en trozos y uso la cláusula IN para obtener los elementos que ya están en la base de datos.

¿Hay una mejor manera de hacerlo?