Resultados de la búsqueda a petición "hadoop2"
¿Cómo se envían las consultas sql de la colmena como mr job desde hive cli?
He implementado un clúster CDH-5.9 con MR como motor de ejecución de colmena. Tengo una tabla de colmena llamada "usuarios" con 50 filas. Cada vez que ejecuto la consultaselect * from users funciona bien de la siguiente manera: hive> select * ...
Establecer Spark como motor de ejecución predeterminado para Hive
Hadoop 2.7.3, Spark 2.1.0 y Hive 2.1.1. Estoy tratando de establecer la chispa como motor de ejecución predeterminado para la colmena. Subí todos los frascos en $ SPARK_HOME / jars a la carpeta hdfs y copié los frascos scala-library, spark-core ...
En chispa, ¿cómo funciona la transmisión?
Esta es una pregunta muy simple: en chispa,broadcast se puede usar para enviar variables a los ejecutores de manera eficiente. Como funciona esto ? Más precisamente: cuando se envían los valores: tan pronto como llamobroadcasto cuando se usan ...
chispa falla en windows: <consola>: 16: error: no encontrado: valor sqlContext
Instalo la chispa en Windows, pero no se pudo ejecutar mostrando el siguiente error: <console>:16: error: not found: value sqlContext import sqlContext.implicits._ ^ <console>:16: error: not found: value sqlContext import sqlContext.sql ...
solo se pudo replicar en 0 nodos en lugar de minReplication (= 1). Hay 4 datanode (s) en ejecución y no se excluyen ningún nodo (s) en esta operación
No sé cómo solucionar este error: Vertex failed, vertexName=initialmap, vertexId=vertex_1449805139484_0001_1_00, diagnostics=[Task failed, ...
¿Cómo funciona el proceso de conmutación por error de Hadoop Namenode?
La guía definitiva de Hadoop dice: Cada Namenode se ejecutaun proceso de controlador de conmutación por error ligero cuyo trabajo espara monitorear su Namenode por fallas(utilizando un mecanismo de latido simple) y desencadenar una conmutación ...
Cómo hadoop decide cuántos nodos se asignarán y reducirán tareas
Soy nuevo en hadoop y estoy tratando de entenderlo. Estoy hablando de hadoop 2. Cuando tengo un archivo de entrada que quiero hacer un MapReduce, en el programa MapReduce digo el parámetro del Split, por lo que hará tantas tareas de mapa como ...
Nodo de nombre de Hadoop 2.0, nodo secundario y nodo de punto de control para alta disponibilidad
Después de leer ApacheDocumentación de Hadoop [http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html] , existe una pequeña confusión en la comprensión de las responsabilidades del nodo secundario y el nodo del ...
Confirmación de operación de escritura de datos Hadoop 2.0
Tengo una pequeña consulta sobre escrituras de datos hadoop De la documentación de Apache Para el caso común, cuando el factor de replicación es tres, la política de colocación de HDFS es colocar una réplica en un nodo en el bastidor local, ...
Poner archivo en HDFS con espacios en el nombre
Tengo un archivo llamadofile name(1).zip (con el espacio y los paréntesis) y quiero poner este archivo en el HDFS. Pero cada vez que trato de ponerlohadoop fs -put ... Tengo una excepción. Incluso intenté agregar citas alrededor del archivo e ...