Resultados de la búsqueda a petición "mapreduce"
Error al ejecutar Mapreduce (hilo) desde el eclipse de Windows
Estoy ejecutando un programa WordCount desde mi eclipse. Intenté con Hadoop1.x está funcionando bien. Enfrentando un problema mientras se ejecuta en hadoop2.x intenté 1) agregué todo xml a mi classpath. 2) también probé conf.set ...
Escriba en múltiples salidas por clave Scalding Hadoop, un trabajo MapReduce
¿Cómo puede escribir en múltiples salidas dependientes de la clave usando Scalding (/ en cascada) en un solo trabajo de reducción de mapa? Por supuesto que podría usar.filter para todas las claves posibles, pero ese es un truco horrible, que ...
MongoDb: encuentra elementos comunes de dos matrices dentro de una consulta
Digamos que tenemos registros de la siguiente estructura en la base de datos. { "_id": 1234, "tags" : [ "t1", "t2", "t3" ] }Ahora, quiero verificar si la base de datos contiene un registro con alguna de las etiquetas especificadas en ...
¿Se ordena siempre la salida de la fase de mapa del trabajo mapreduce?
Estoy un poco confundido con el resultado que obtengo de Mapper. Por ejemplo, cuando ejecuto un programa simple de conteo de palabras, con este texto de entrada: hello world Hadoop programming mapreduce wordcount lets see if this works 12345678 ...
¿Devuelve un número limitado de registros de cierto tipo, pero un número ilimitado de otros registros?
Tengo una consulta en la que necesito devolver 10 de los registros "Tipo A", mientras devuelvo todos los demás registros. ¿Cómo puedo lograr esto? Actualizar:Es cierto que podría hacer esto con dos consultas, pero quería evitar eso, si es ...
Encadenamiento de múltiples trabajos MapReduce en Hadoop
En muchas situaciones de la vida real en las que aplica MapReduce, los algoritmos finales terminan siendo varios pasos de MapReduce. es decir, Mapa1, Reducir1, Mapa2, Reducir2, etc. Entonces tiene la salida de la última reducción que se ...
Cómo ingresar el archivo HDFS en R mapreduce para el procesamiento y obtener el resultado en el archivo HDFS
Tengo una pregunta similar al siguiente enlace en stackoverflow R + Hadoop: ¿Cómo leer un archivo CSV de HDFS y ejecutar ...
Cómo reducir en una lista de tuplas en python
Tengo una matriz y quiero contar la aparición de cada elemento en la matriz. He logrado usar una función de mapa para producir una lista de tuplas. def mapper(a): return (a, 1) r = list(map(lambda a: mapper(a), arr)); //output example: ...
hadoop java.net.URISyntaxException: ruta relativa en URI absoluto: rsrc: hbase-common-0.98.1-hadoop2.jar
Tengo un trabajo de reducción de mapa que se conecta a HBASE y no puedo entender dónde me encuentro con este error: Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native ...
Java8: HashMap <X, Y> a HashMap <X, Z> usando Stream / Map-Reduce / Collector
Sé cómo "transformar" un Java simpleList deY ->Zes decir: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList());Ahora me gustaría hacer básicamente lo mismo con un mapa, es decir: INPUT: { ...