Ich schreibe einen MapReduce-Job, der möglicherweise eine große Anzahl von Werten im Reduzierer enthält. Ich mache mir Sorgen, dass all diese Werte gleichzeitig in den Speicher geladen werden.

Hat die zugrunde liegende Implementierung desIterable<VALUEIN> values Werte nach Bedarf in den Speicher laden? Hadoop: Der Definitive Guide scheint dies zu suggerieren, gibt aber keine "definitive" Antwort.

Die Ausgabe des Reduzierers ist weitaus umfangreicher als die Eingabe der Werte, aber ich glaube, die Ausgabe wird nach Bedarf auf die Festplatte geschrieben.