Resultados de la búsqueda a petición "hadoop"
es posible usar apache mahout sin dependencia de hadoop?
¿Es posible usar Apache mahout sin ninguna dependencia de Hadoop? Me gustaría usar el algoritmo mahout en una sola computadora al incluir solo la biblioteca mahout dentro de mi proyecto Java, pero no quiero usar hadoop en absoluto, ya que de ...
¿Cómo hago para que Hadoop encuentre módulos Python importados cuando utilizo UDF de Python en Pig?
Estoy usando Pig (0.9.1) con UDF escritos en Python. Los scripts de Python importan módulos de la biblioteca estándar de Python. He podido ejecutar los scripts de Pig que llaman a las UDF de Python con éxito en modo local, pero cuando ejecuto en ...
Diferencia entre hadoop fs -put y hadoop fs -copyFromLocal
-put y-copyFromLocal están documentados como idénticos, mientras que la mayoría de los ejemplos usan la variante detallada -copyFromLocal. ¿Por qué Lo mismo para-get y-copyToLocal
La serialización con ArrayWritable parece funcionar de manera divertida
Estaba trabajando conArrayWritable, en algún momento tuve que comprobar cómo Hadoop serializa laArrayWritable, esto es lo que obtuve al configurarjob.setNumReduceTasks(0): 0 IntArrayWritable@10f11b8 3 IntArrayWritable@544ec1 6 ...
Hadoop cluster: ¿necesito replicar mi código en todas las máquinas antes de ejecutar el trabajo?
Esto es lo que me confunde, cuando uso el ejemplo de conteo de palabras, mantengo el código como maestro y lo dejo hacer cosas con los esclavos y funciona bien Pero cuando estoy ejecutando mi código, comienza a fallar en los esclavos ...
hadoop streaming: ¿cómo ver los registros de aplicaciones?
Puedo ver todos los registros de hadoop en mi/usr/local/hadoop/logs camin pero ¿dónde puedo ver los registros de nivel de aplicación? por ejemplo mapper.py import logging def main(): logging.info("starting map task now") // -- do some task ...
¿Cuál es el significado de las excepciones EOF en conexiones de nodo de nombre hadoop desde hbase / filesystem?
Esta es una pregunta general sobre las excepciones EOF de Java, así como la excepción EOF de Hadoop que está relacionada con la interoperabilidad de jar. Los comentarios y respuestas sobre cualquiera de los temas son aceptables. Antecedente ...
¿Cómo personalizar la clase de escritura en Hadoop?
Estoy tratando de implementar una clase de escritura, pero no tengo idea de cómo implementar una clase de escritura si en mi clase hay un objeto anidado, como una lista, etc. ¿Podría alguien ayudarme? Gracia public class StorageClass implements ...
Especificación de límites de memoria con hadoop
Estoy intentando ejecutar un trabajo de alta memoria en un clúster de Hadoop (0.20.203). Modifiqué mapred-site.xml para imponer algunos límites de memoria. <property> <name>mapred.cluster.max.map.memory.mb</name> <value>4096</value> </property> ...
Cambio de usuario en python
Estoy escribiendo un script simple que reinicia un esclavo hadoop. En el script, tengo que hacer algunos cambios iniciales como usuario root. Después de eso, tengo que cambiar al usuario "hadoop" y realizar un conjunto de comandos. Estaba usando ...