Resultados de la búsqueda a petición "mapreduce"

9 la respuesta

Reduzca un par clave-valor en un par clave-lista con Apache Spark

Estoy escribiendo una aplicación Spark y quiero combinar un conjunto de pares clave-valor(K, V1), (K, V2), ..., (K, Vn) en un par clave-valor múltiple(K, [V1, V2, ..., Vn]). Siento que debería poder hacer esto usando elreduceByKey funcionar con ...

4 la respuesta

Demasiados archivos abiertos en EMR

12 la respuesta

Contar líneas en archivos grandes.

Normalmente trabajo con archivos de texto de ~ 20 Gb y me encuentro contando el número de líneas en un archivo dado con mucha frecuencia.La forma en que lo h...

1 la respuesta

Excepción al enviar un trabajo mapreduce desde un sistema remoto

Obtuve una excepción al enviar un trabajo mapreduce desde un sistema remoto13/10/28 18:49:52 ERROR security.UserGroupInformation: PriviledgedActionException ...

6 la respuesta

hadoop mapreduce: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy () Z

Estoy tratando de escribir un archivo de secuencia comprimido de bloque rápido desde un trabajo de reducción de mapas. Estoy usando hadoop 2.0.0-cdh4.5.0 y snappy-java 1.0.4.1 Aquí está mi código: package jinvestor.jhouse.mr; import ...

3 la respuesta

Ventajas de usar NullWritable en Hadoop

¿Cuáles son las ventajas de usar

4 la respuesta

Escritura de salida a diferentes carpetas de hadoop.

2 la respuesta

Error de trabajo de transmisión de Hadoop (no exitoso) en Python

Estoy tratando de ejecutar un trabajo Map-Reduce en Hadoop Streaming con scripts Python y obtengo los mismos errores queError de trabajo de transmisión de Hadoop en ...

3 la respuesta

CouchDB: Devuelve los documentos más nuevos de tipo según la marca de tiempo

Tengo un sistema que acepta actualizaciones de estado de una variedad de fuentes únicas, y cada actualización de estado crea un nuevo documento en la siguien...

3 la respuesta

¿Cómo programar las tareas de Hadoop Map en un clúster multinodo de 8 nodos?

Tengo un programa "solo mapa" (sin fase de reducción). El tamaño del archivo de entrada es lo suficientemente grande como para crear 7 tareas de ma...