Ich muss alle 20 Sekunden eine CSV lesen. Jede CSV enthält min. von 500 bis max. 60000 Zeilen. Ich muss die Daten in eine Postgres-Tabelle einfügen, aber vorher muss ich überprüfen, ob die Elemente bereits eingefügt wurden, da die Wahrscheinlichkeit groß ist, dass doppelte Elemente vorhanden sind. Das auf Eindeutigkeit zu prüfende Feld wird ebenfalls indiziert.

Also habe ich die Datei in Blöcken gelesen und die IN-Klausel verwendet, um die Elemente zu ermitteln, die sich bereits in der Datenbank befinden.

Gibt es eine bessere Möglichkeit?