Значения Hadoop Reducer в памяти?
Я пишу задание MapReduce, которое может привести к огромному количеству значений в редукторе. Я обеспокоен тем, что все эти значения загружаются в память одновременно.
Соответствует ли базовая реализацияIterable<VALUEIN> values
загружать значения в память как они нужны? Hadoop: Полное руководство, кажется, предполагает, что это так, но не дает "окончательного" ответ.
Вывод редуктора будет намного массивнее ввода значений, но я считаю, что вывод записывается на диск по мере необходимости.