Eu tenho que ler um CSV a cada 20 segundos. Cada CSV contém min. de 500 a max. 60000 linhas. Eu tenho que inserir os dados em uma tabela Postgres, mas antes disso eu preciso verificar se os itens já foram inseridos, porque há uma alta probabilidade de obter itens duplicados. O campo para verificar a exclusividade também é indexado.

Então, eu li o arquivo em pedaços e uso a cláusula IN para obter os itens já no banco de dados.

Existe uma maneira melhor de fazer isso?