Muszę czytać CSV co 20 sekund. Każdy CSV zawiera min. od 500 do max. 60000 linii. Muszę wstawić dane do tabeli Postgres, ale wcześniej muszę sprawdzić, czy elementy zostały już wstawione, ponieważ istnieje duże prawdopodobieństwo otrzymania zduplikowanego elementu. Pole do sprawdzenia wyjątkowości jest również indeksowane.

Tak więc czytam plik w kawałkach i używam klauzuli IN, aby pobrać elementy już w bazie danych.

Czy jest lepszy sposób na zrobienie tego?