Resultados de la búsqueda a petición "hadoop"
a clase @Hadoop JobConf está en desuso, se necesita un ejemplo actualizado
Estoy escribiendo programas hadoop, y realmente no quiero jugar con clases obsoletas. En cualquier lugar en línea no puedo encontrar programas con @ actualiza org.apache.hadoop.conf.Configuration clase insted de ...
¿Qué idioma usar para los programas Hadoop Map / Reduce? Java o PHP?
Recientemente escribí un par de programas de mapa / reducción en Java. Pero también sé que también se puede usar lenguaje de script como php. Sin embargo, casi todos recomiendan java o python. Actualmente trabajo en php. Entonces, me preguntaba ...
Pequeños archivos y bloques HDFS
¿Un bloque en el Sistema de archivos distribuidos de Hadoop almacena múltiples archivos pequeños, o un bloque almacena solo 1 archivo?
DataNode no puede iniciarse en Hadoop
Estoy intentando configurar la instalación de Hadoop en Ubuntu 11.04 y Java 6 sun. Estaba trabajando con hadoop 0.20.203 rc1 build. En repetidas ocasiones me encuentro con un problema en Ubuntu 11.04 con java-6-sun. Cuando intento iniciar el ...
¿Cómo sintonizar mapred.reduce.parallel.copies?
Siguiendo leyendohttp: //gbif.blogspot.com/2011/01/setting-up-hadoop-cluster-part-1-manual.htm [http://gbif.blogspot.com/2011/01/setting-up-hadoop-cluster-part-1-manual.html] queremos experimentar con mapred.reduce.parallel.copies. El blog ...
MapReduce alternativas
¿Hay paradigmas alternativos para MapReduce (Google, Hadoop)? ¿Hay alguna otra forma razonable de dividir y fusionar grandes problemas?
Hadoop: ¿cómo acceder a (muchas) imágenes de fotos para ser procesadas por mapa / reducir?
Tengo más de 10 millones de fotos guardadas en el sistema de archivos local. Ahora quiero revisar cada uno de ellos para analizar el binario de la foto y ver si es un perro. Básicamente quiero hacer el análisis en un entorno hadoop agrupado. El ...
Hadoop: Proceso de ejemplo para generar un SequenceFile con binarios de imágenes para procesar en map / reduce
SiguiendoHadoop: ¿cómo acceder a (muchas) imágenes de fotos para ser procesadas por mapa / reducir? [https://stackoverflow.com/questions/8752772/hadoop-how-to-access-many-photo-images-to-be-processed-by-map-reduce] pregunta, donde ...
Establecer el nivel de registro en Hadoop en WARN
He intentado numerosas formas de configurar el nivel de registro en Hadoop en WARN, pero he fallado cada vez. En primer lugar, intenté configurar el archivo log4j.properties simplemente reemplazando "INFO" por "WARN" en todas partes. ...
hadoop convirtiendo \ r \ n a \ ny rompiendo el formato ARC
Estoy tratando de analizar datos de commoncrawl.org usando hadoop streaming. Configuré un hadoop local para probar mi código, y tengo un mapeador Ruby simple que usa un lector de archivos ARC. Cuando invoco mi código yo mismo como cat ...