Resultados de la búsqueda a petición "mapreduce"
Hadoop Streaming: Mapper 'envolviendo' un ejecutable binario
Tengo una tubería que actualmente ejecuto en un gran grupo de computadoras de la universidad. Para fines de publicación, me gustaría convertirlo a formato mapreduce para que cualquier persona pueda ejecutarlo utilizando un clúster hadoop como ...
¿Cómo configurar un reductor para emitir <Texto, IntWritable> y un mapeador para recibir <Texto, IntWritable>?
Estoy desarrollando un código enhadoopconMapa reducidoque usados mapeadores y dos reductores.Me han dicho que useSequenceFileInputFormaty SequenceFileOutputFormatpara hacer que la salida del primer reductor y la entrada del segundo mapeador ...
PySpark Cómo leer CSV en Dataframe y manipularlo
Soy bastante nuevo en pyspark y estoy tratando de usarlo para procesar un gran conjunto de datos que se guarda como un archivo csv. Me gustaría leer el archivo CSV en el marco de datos de chispa, soltar algunas columnas y agregar nuevas columnas. ...
¿Cómo se envían las consultas sql de la colmena como mr job desde hive cli?
He implementado un clúster CDH-5.9 con MR como motor de ejecución de colmena. Tengo una tabla de colmena llamada "usuarios" con 50 filas. Cada vez que ejecuto la consultaselect * from users funciona bien de la siguiente manera: hive> select * ...
Implementación de un ArrayWritable para un tipo Hadoop personalizado
¿Cómo defino un ArrayWritable para un tipo Hadoop personalizado? Estoy tratando de implementar un índice invertido en Hadoop, con tipos personalizados de Hadoop para almacenar los datos. Yo tengo unPublicación individual clase que almacena la ...
Derrame de Hadoop
Actualmente estoy trabajando en un proyecto usando Hadoop 0.21.0, 985326 y un grupo de 6 nodos de trabajo y un nodo principal. El envío de un trabajo de reducción de mapas regular falla, pero no tengo idea de por qué. ¿Alguien ha visto esta ...
cuántos mapeadores y reductores se crearán para una tabla dividida en colmena
Siempre estoy confundido sobre cuántos mapeadores y reductores se crearán para una tarea particular en la colmena. por ejemplo, si el tamaño del bloque = 128 mb y hay 365 archivos cada uno se asigna a una fecha en un año (tamaño del archivo = 1 ...
Error de trabajo de transmisión de Hadoop (no exitoso) en Python
Estoy tratando de ejecutar un trabajo Map-Reduce en Hadoop Streaming con scripts Python y obtengo los mismos errores queError de trabajo de transmisión de Hadoop en ...
¿Qué hace realmente la fase de barajado?
¿Qué hace realmente la fase de barajado? A) Como barajar es el proceso de llevar el mapeador o / p al reductor o / p, solo trae las teclas específicas de los mapeadores a los reductores particulares basados en el código escrito en el ...
Error de trabajo de transmisión de Hadoop en Python
Deesta guia [http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/#running-the-python-code-on-hadoop] , Ejecuté con éxito el ejercicio de muestra. Pero al ejecutar mi trabajo de mapreduce, obtengo el siguiente ...