Jak szybko reindeksować ElasticSearch?
Mam indeks ElasticSearch z około 200M dokumentami, łączny indeks 90 Gb.
Zmieniłem mapowanie, więc chciałbym, aby ElasticSearch ponownie indeksował wszystkie dokumenty.
Napisałem skrypt, który tworzy nowy indeks (z nowym mapowaniem), a następnie przechodzi przez wszystkie dokumenty w starym indeksie i umieszcza go w nowym.
Wydaje się, że działa, ale problem polega na tym, że działa bardzo wolno. Zaczęło się od 300 dokumentów / minutę dwa dni temu, a teraz prędkość wynosi 150 dokumentów / minutę.
Skrypt jest uruchamiany na maszynie w tej samej sieci z elastycznymi wyszukiwarkami w.
Z taką prędkością będzie potrzebował miesiąca na zakończenie indeksowania.
Czy ktoś wie o jakiejś szybszej technice ponownego indeksowania elastycznego indeksu wyszukiwania?