Jak szybko reindeksować ElasticSearch?

Mam indeks ElasticSearch z około 200M dokumentami, łączny indeks 90 Gb.

Zmieniłem mapowanie, więc chciałbym, aby ElasticSearch ponownie indeksował wszystkie dokumenty.

Napisałem skrypt, który tworzy nowy indeks (z nowym mapowaniem), a następnie przechodzi przez wszystkie dokumenty w starym indeksie i umieszcza go w nowym.

Wydaje się, że działa, ale problem polega na tym, że działa bardzo wolno. Zaczęło się od 300 dokumentów / minutę dwa dni temu, a teraz prędkość wynosi 150 dokumentów / minutę.

Skrypt jest uruchamiany na maszynie w tej samej sieci z elastycznymi wyszukiwarkami w.

Z taką prędkością będzie potrzebował miesiąca na zakończenie indeksowania.

Czy ktoś wie o jakiejś szybszej technice ponownego indeksowania elastycznego indeksu wyszukiwania?

questionAnswers(2)

yourAnswerToTheQuestion