Resultados de la búsqueda a petición "hadoop2"
¿Cómo se envían las consultas sql de la colmena como mr job desde hive cli?
He implementado un clúster CDH-5.9 con MR como motor de ejecución de colmena. Tengo una tabla de colmena llamada "usuarios" con 50 filas. Cada vez que ejecuto la consultaselect * from users funciona bien de la siguiente manera: hive> select * ...
chispa falla en windows: <consola>: 16: error: no encontrado: valor sqlContext
Instalo la chispa en Windows, pero no se pudo ejecutar mostrando el siguiente error: <console>:16: error: not found: value sqlContext import sqlContext.implicits._ ^ <console>:16: error: not found: value sqlContext import sqlContext.sql ...
¿Se ordena siempre la salida de la fase de mapa del trabajo mapreduce?
Estoy un poco confundido con el resultado que obtengo de Mapper. Por ejemplo, cuando ejecuto un programa simple de conteo de palabras, con este texto de entrada: hello world Hadoop programming mapreduce wordcount lets see if this works 12345678 ...
Establecer Spark como motor de ejecución predeterminado para Hive
Hadoop 2.7.3, Spark 2.1.0 y Hive 2.1.1. Estoy tratando de establecer la chispa como motor de ejecución predeterminado para la colmena. Subí todos los frascos en $ SPARK_HOME / jars a la carpeta hdfs y copié los frascos scala-library, spark-core ...
Prácticas estándar para iniciar sesión en trabajos de MapReduce
Estoy tratando de encontrar el mejor enfoque para iniciar sesión en trabajos de MapReduce. Estoy usando slf4j con log4j appender como en mis otras aplicaciones Java, pero dado que el trabajo de MapReduce se ejecuta de manera distribuida en todo ...
Cómo hadoop decide cuántos nodos se asignarán y reducirán tareas
Soy nuevo en hadoop y estoy tratando de entenderlo. Estoy hablando de hadoop 2. Cuando tengo un archivo de entrada que quiero hacer un MapReduce, en el programa MapReduce digo el parámetro del Split, por lo que hará tantas tareas de mapa como ...
Hay 0 datanode (s) en ejecución y no se excluyen ningún nodo (s) en esta operación
He configurado un clúster Hadoop de múltiples nodos. NameNode y Secondary namenode se ejecutan en la misma máquina y el clúster solo tiene un Datanode. Todos los nodos están configurados en máquinas Amazon EC2. Los siguientes son los archivos de ...
Poner archivo en HDFS con espacios en el nombre
Tengo un archivo llamadofile name(1).zip (con el espacio y los paréntesis) y quiero poner este archivo en el HDFS. Pero cada vez que trato de ponerlohadoop fs -put ... Tengo una excepción. Incluso intenté agregar citas alrededor del archivo e ...
¿Qué es la memoria reservada en hilo?
Logré lanzar una aplicación de chispa en Yarn. Sin embargo, el uso de emory es un poco extraño, como puede ver a continuación: http://imgur.com/1k6VvSI [http://imgur.com/1k6VvSI] ¿Qué significa memoria reservada? ¿Cómo puedo usar eficientemente ...
En chispa, ¿cómo funciona la transmisión?
Esta es una pregunta muy simple: en chispa,broadcast se puede usar para enviar variables a los ejecutores de manera eficiente. Como funciona esto ? Más precisamente: cuando se envían los valores: tan pronto como llamobroadcasto cuando se usan ...