Teraz mam kilka zestawów indeksów Lucene (nazywam to odłamkami), które indeksują różne zestawy dokumentów. Są niezależne, co oznacza, że ​​mogę przeprowadzić wyszukiwanie na każdym z nich bez czytania innych. Następnie otrzymuję zapytanie. Chcę przeszukiwać go w każdym zestawie indeksów i łączyć wynik, aby utworzyć ostateczne najlepsze dokumenty.

Wiem, że podczas oceniania dokumentów Lucene musi znać <idf> każdego terminu, a różne zestawy indeksów dają różne <idf> do tego samego terminu (ponieważ różne zestawy indeksów zawierają różne zestawy dokumentów). Tak więc, moim zdaniem, nie mogę bezpośrednio porównać wyniku dokumentu z różnych zestawów indeksów. Jak więc wygenerować wynik końcowy?

Oczywistym rozwiązaniem byłoby najpierw scalić indeks, a następnie przeprowadzić wyszukiwanie w dużym indeksie. Jest to jednak dla mnie zbyt czasochłonne, a zatem niedopuszczalne. Każdy ma inne lepsze rozwiązania?

P.S .: Nie chcę używać żadnych pakietów ani programów (takich jak Katta) z wyjątkiem Lucene i Hadoop.