Piszę zadanie MapReduce, które może mieć ogromną liczbę wartości w reduktorze. Obawiam się, że wszystkie te wartości są od razu ładowane do pamięci.

Czy podstawowa implementacjaIterable<VALUEIN> values ładować wartości do pamięci, gdy są potrzebne? Hadoop: Definitive Guide wydaje się sugerować, że tak jest, ale nie daje „ostatecznej” odpowiedzi.

Wyjście reduktora będzie o wiele bardziej masywne niż dane wejściowe, ale uważam, że wyjście jest zapisywane na dysk w razie potrzeby.