Resultados de la búsqueda a petición "hadoop"
problems ejecutando ejemplos simples de hadoop de map-reduce en cygwin
Solo intento que Hadoop se ejecute en mi computadora portátil con Windows 7 de 64 bits en modo independiente. He instalado Cygwin 1.7 en la carpeta predeterminada (c: \ cygwin). Tengo el último JDK en la carpeta c: \ jdk1.7.0_03, y he ...
¿Cómo hacer un archivo jar monolítico?
Necesito crear un archivo jar de trabajo de hadoop que use mahout y muchas otras bibliotecas. Necesito poder ejecutar el trabajo sin necesidad de archivos jar adicionales, de modo que todas las clases referenciadas se empaqueten con el archivo ...
Amazon MapReduce mejores prácticas para el análisis de registros
Analizo los registros de acceso generados por Apache, Nginx, Darwin (servidor de transmisión de video) y agrego estadísticas para cada archivo entregado por fecha / referencia / usuario. Toneladas de registros generados cada hora y es probable ...
Llamar a un trabajo de reducción de mapas desde un simple programa java
He estado tratando de llamar a un trabajo mapreduce desde un programa simple de Java en el mismo paquete ... Traté de referir el archivo jar mapreduce en mi programa java y llamarlo usando elrunJar(String args[]) método pasando también las rutas ...
¿La forma más eficiente de crear una ruta en zookeeper donde los elementos raíz de la ruta pueden existir o no?
Imagine una ruta "/ root / child1 / child2 / child3" Imagínese en Zookeeper que tal vez exista una parte de esto, diga "/ root / child1" No hay equivalente de "mkdir -p" en el cuidador del zoológico; Además, ZooKeeper.multi () fallará si falla ...
Hadoop: forma fácil de tener un objeto como valor de salida sin interfaz de escritura
Estoy tratando de explotar hadoop para entrenar múltiples modelos. Mis datos son lo suficientemente pequeños como para caber en la memoria, por lo que quiero tener un modelo entrenado en cada tarea de mapa. Mi problema es que cuando termine de ...
¿Cómo usar el código MATLAB en el mapeador (Hadoop)?
Tengo un código matlab que procesa imágenes. Quiero crear un mapeador de Hadoop que use ese código. Encontré las siguientes soluciones, pero no estoy seguro de cuál es la mejor (ya que es muy difícil instalar el tiempo de ejecución ...
Es posible leer datos de MongoDB, procesarlos con Hadoop y enviarlos a un RDBS (MySQL)?
ResumenEs posible que Importe datos a Hadoop con el «Conector MongoDB para Hadoop».Procéselo con Hadoop MapReduce.Exportarlo con Sqoop en una sola transacción. Estoy creando una aplicación web con MongoDB. Si bien MongoDB funciona bien durante ...
¿Cómo resolver 'el archivo solo se puede replicar a 0 nodos, en lugar de 1' en hadoop?
Tengo un simple trabajo de hadoop que rastrea sitios web y los almacena en caché en el HDFS. El mapeador comprueba si ya existe una URL en el HDFS y, de ser así, la utiliza para descargar la página y guardarla en el HDFS. Si se encuentra un ...
La operación de reducción de mapa de Hadoop falla al escribir la salida
Finalmente puedo iniciar un trabajo de reducción de mapas en Hadoop (ejecutándose en una sola máquina Debian). Sin embargo, el trabajo de reducción de mapas siempre falla con el siguiente error: hadoopmachine@debian:~$ ./hadoop-1.0.1/bin/hadoop ...