Количество карт обычно определяется количеством блоков DFS во входных файлах. Хотя это заставляет людей регулировать размер своего блока DFS для корректировки количества карт.

Правильный уровень параллелизма для карт, кажется, составляет около 10-100 карт / узел, хотя это может доходить до 300 или около того для очень простых задач карты. Настройка задачи занимает некоторое время, поэтому лучше, если для выполнения карт требуется не менее минуты.

Вы можете увеличить количество задач Map, изменив confConset_umNapMasTasks в JobConf (int num). Примечание. Это может увеличить количество задач карты, но не будет устанавливать число ниже того, которое Hadoop определяет путем разделения входных данных.

Окончательно контролировать количество карт очень сложно. Параметр mapred.map.tasks - это просто подсказка InputFormat для количества карт. Поведение InputFormat по умолчанию заключается в разделении общего количества байтов на правильное количество фрагментов. Однако в случае по умолчанию размер блока DFS входных файлов рассматривается как верхняя граница для входных разбиений. Нижняя граница для размера разделения может быть установлена с помощью mapred.min.split.size.

Таким образом, если вы ожидаете 10 ТБ входных данных и имеете блоки DFS 128 МБ, вы получите карты размером 82 КБ, если ваш mapred.map.tasks не станет еще больше. В конечном итоге InputFormat определяет количество карт.

Подробнее:http: //wiki.apache.org/hadoop/HowManyMapsAndReduce