Resultados de la búsqueda a petición "mapreduce"
Reduzca un par clave-valor en un par clave-lista con Apache Spark
Estoy escribiendo una aplicación Spark y quiero combinar un conjunto de pares clave-valor(K, V1), (K, V2), ..., (K, Vn) en un par clave-valor múltiple(K, [V1, V2, ..., Vn]). Siento que debería poder hacer esto usando elreduceByKey funcionar con ...
Contar líneas en archivos grandes.
Normalmente trabajo con archivos de texto de ~ 20 Gb y me encuentro contando el número de líneas en un archivo dado con mucha frecuencia.La forma en que lo h...
Excepción al enviar un trabajo mapreduce desde un sistema remoto
Obtuve una excepción al enviar un trabajo mapreduce desde un sistema remoto13/10/28 18:49:52 ERROR security.UserGroupInformation: PriviledgedActionException ...
hadoop mapreduce: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy () Z
Estoy tratando de escribir un archivo de secuencia comprimido de bloque rápido desde un trabajo de reducción de mapas. Estoy usando hadoop 2.0.0-cdh4.5.0 y snappy-java 1.0.4.1 Aquí está mi código: package jinvestor.jhouse.mr; import ...
Ventajas de usar NullWritable en Hadoop
¿Cuáles son las ventajas de usar
Error de trabajo de transmisión de Hadoop (no exitoso) en Python
Estoy tratando de ejecutar un trabajo Map-Reduce en Hadoop Streaming con scripts Python y obtengo los mismos errores queError de trabajo de transmisión de Hadoop en ...
CouchDB: Devuelve los documentos más nuevos de tipo según la marca de tiempo
Tengo un sistema que acepta actualizaciones de estado de una variedad de fuentes únicas, y cada actualización de estado crea un nuevo documento en la siguien...
¿Cómo programar las tareas de Hadoop Map en un clúster multinodo de 8 nodos?
Tengo un programa "solo mapa" (sin fase de reducción). El tamaño del archivo de entrada es lo suficientemente grande como para crear 7 tareas de ma...