Wie kann ElasticSearch schnell neu indiziert werden?

Ich habe einen ElasticSearch-Index mit etwa 200 Millionen Dokumenten und einer Gesamtindexgröße von 90 GB.

Ich habe die Zuordnung geändert, daher möchte ich, dass ElasticSearch alle Dokumente neu indiziert.

Ich habe ein Skript geschrieben, das einen neuen Index erstellt (mit der neuen Zuordnung), dann alle Dokumente im alten Index durchläuft und dann in den neuen einfügt.

Es scheint zu funktionieren, aber das Problem ist, dass es extrem langsam funktioniert. Es begann vor zwei Tagen mit 300 Dokumenten / Minute, und jetzt beträgt die Geschwindigkeit 150 Dokumente / Minute.

Das Skript wird auf einem Computer ausgeführt, der sich in demselben Netzwerk befindet, in dem sich die elastischen Suchmaschinen befinden.

Bei dieser Geschwindigkeit dauert es einen Monat, bis die Neuindizierung abgeschlossen ist.

Kennt jemand eine schnellere Technik, um einen elastischen Suchindex neu zu indizieren?

Antworten auf die Frage(2)

Ihre Antwort auf die Frage