Resultados de la búsqueda a petición "mapreduce"
¿Dónde envía hadoop mapreduce framework mis declaraciones System.out.print ()? (stdout)
Quiero depurar un script mapreduce, y sin meterme en muchos problemas intenté poner algunas declaraciones de impresión en mi programa. Pero parece que no puedo encontrarlos en ninguno de los registros.
El manejo de errores en el mapa de hadoop reduce
De acuerdo con la documentación, hay algunas formas en que se reduce el manejo de errores en el mapa. Debajo están los pocos: a. Contadores personalizados que utilizan enum - incremento para cada registro fallido. si. Registra el error y ...
Hadoop 1.2.1 - clúster multinodo - ¿Se bloquea la fase reductora para el programa Wordcount?
Mi pregunta puede sonar redundante aquí, pero la solución a las preguntas anteriores fueron todas ad-hoc. pocos lo he intentado pero aún no tuve suerte. Acutalmente, estoy trabajando en hadoop-1.2.1 (en ubuntu 14), inicialmente ...
Hadoop: ayuda necesaria para comprender los pasos de procesamiento
Tengo un archivo comprimido y contiene 8 archivos xml de tamaño 5-10kb. Tomé estos datos para fines de prueba. Escribí un solo programa de mapa para descomprimir el archivo comprimido. yowrote program in MR2 and using Hadoop 2.7.1 in psuedo ...
¿Cómo se crean los contenedores basados en vcores y memoria en MapReduce2?
Tengo un pequeño clúster compuesto por 1 maestro (namenode, secundarios de namenode, resourcemanager) y 2 esclavos (datanode, nodemanager). He establecido en el sitio-hilado.xml del maestro: yarn.scheduler.minimum-allocation-mb : ...
Cómo hadoop decide cuántos nodos se asignarán y reducirán tareas
Soy nuevo en hadoop y estoy tratando de entenderlo. Estoy hablando de hadoop 2. Cuando tengo un archivo de entrada que quiero hacer un MapReduce, en el programa MapReduce digo el parámetro del Split, por lo que hará tantas tareas de mapa como ...
Implementación de combinadores y trabajo interno
Quiero usar un combinador en mi código MR, por ejemplo, WordCount. ¿Cómo debo implementarlo? ¿Qué tipo de datos se pasan al reductor desde el combinador? Será genial si alguno de ustedes me puede proporcionar códigos tanto de Combiner como de ...
Oozie> Acción Java> por qué la propiedad oozie.launcher.mapred.child.java.opts no funciona
Estoy trabajando en Oozie con una acción de Java. La acción Java debe usar la opción Java -Xmx15g. En consecuencia, configuré la propiedad oozie.mapreduce.map.memory.mb en 25600 (25G) en caso de que se necesite algo de memoria adicional. Después ...
/ bin / bash: / bin / java: no existe tal archivo o directorio
Estaba tratando de ejecutar un simple programa MapReduce de recuento de palabras usando Java 1.7 SDK y Hadoop2.7.1 en Mac OS X EL Captain 10.11 y recibo el siguiente mensaje de error en mi registro de contenedor "stderr" / bin / bash: / bin / ...
Ejecutar una aplicación Hadoop independiente en múltiples núcleos de CPU
Mi equipo creó una aplicación Java utilizando las bibliotecas Hadoop para transformar un montón de archivos de entrada en resultados útiles. Dada la carga actual, un solo servidor multinúcleo funcionará bien durante el próximo año más o menos. No ...