Cómo establecer el número máximo preciso de tareas que se ejecutan simultáneamente por nodo en Hadoop 2.4.0 en Elastic MapReduce
De acuerdo ahttp://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/, la fórmula para determinar el número de tareas que se ejecutan simultáneamente por nodo es:
min (yarn.nodemanager.resource.memory-mb / mapreduce.[map|reduce].memory.mb,
yarn.nodemanager.resource.cpu-vcores / mapreduce.[map|reduce].cpu.vcores) .
Sin embargo, al establecer estos parámetros en (para un clúster de c3.2xlarges):
yarn.nodemanager.resource.memory-mb = 14336
mapreduce.map.memory.mb = 2048
yarn.nodemanager.resource.cpu-vcores = 8
mapreduce.map.cpu.vcores = 1,
Me parece que solo tengo hasta 4 tareas ejecutándose simultáneamente por nodo cuando la fórmula dice que 7 debería ser. ¿Cual es el trato?
Estoy ejecutando Hadoop 2.4.0 en AMI 3.1.0.