Resultados de la búsqueda a petición "mapreduce"
a clase @Hadoop JobConf está en desuso, se necesita un ejemplo actualizado
Estoy escribiendo programas hadoop, y realmente no quiero jugar con clases obsoletas. En cualquier lugar en línea no puedo encontrar programas con @ actualiza org.apache.hadoop.conf.Configuration clase insted de ...
MapReduce alternativas
¿Hay paradigmas alternativos para MapReduce (Google, Hadoop)? ¿Hay alguna otra forma razonable de dividir y fusionar grandes problemas?
Hadoop: ¿cómo acceder a (muchas) imágenes de fotos para ser procesadas por mapa / reducir?
Tengo más de 10 millones de fotos guardadas en el sistema de archivos local. Ahora quiero revisar cada uno de ellos para analizar el binario de la foto y ver si es un perro. Básicamente quiero hacer el análisis en un entorno hadoop agrupado. El ...
Hadoop: Proceso de ejemplo para generar un SequenceFile con binarios de imágenes para procesar en map / reduce
SiguiendoHadoop: ¿cómo acceder a (muchas) imágenes de fotos para ser procesadas por mapa / reducir? [https://stackoverflow.com/questions/8752772/hadoop-how-to-access-many-photo-images-to-be-processed-by-map-reduce] pregunta, donde ...
Escribir un blob de anexos de forma asincrónica y finalizarlo cuando se completen todas las tareas
Tengo un problema difícil. Estoy iterando a través de un conjunto de URL parametrizadas por fecha y buscándolas. Por ejemplo, aquí hay un ejemplo de uno: somewebservice.com? start = 01-01-2012 & end = 01-10-2012 A veces, el contenido ...
hadoop convirtiendo \ r \ n a \ ny rompiendo el formato ARC
Estoy tratando de analizar datos de commoncrawl.org usando hadoop streaming. Configuré un hadoop local para probar mi código, y tengo un mapeador Ruby simple que usa un lector de archivos ARC. Cuando invoco mi código yo mismo como cat ...
Hadoop performance
I instalé hadoop 1.0.0 y probé el ejemplo de conteo de palabras (clúster de nodo único). Tardaron 2m 48 segundos en completarse. Luego probé el programa estándar de conteo de palabras de Linux, que se ejecuta en 10 milisegundos en el ...
Hadoop Job: la tarea no puede informar el estado durante 601 segundos
Mientras se ejecuta el trabajo de hadoop en pseudonodo, la tarea falla y fue asesinada. Error: la tarea intento_ no puede informar el estado durante 601 segundos Pero el mismo programa se ejecuta a través de Eclipse (trabajo local). Task: hay ...
Escribiendo el código MApreduce para contar el número de registros
Quiero escribir un código de reducción de mapas para contar el número de registros en un archivo CSV dado. No entiendo qué hacer en el mapa y qué hacer para reducir, ¿cómo debo resolver esto? ¿Alguien puede sugerir algo?
Límite de memoria alcanzado con appengine-mapreduce
Estoy trabajando en la función appengine-mapreduce y he modificado la demostración para que se ajuste a mi propósito. Básicamente tengo un millón de líneas en el siguiente formato: userid, time1, time2. Mi propósito es encontrar la diferencia ...