Resultados de la búsqueda a petición "hadoop"
error avro en AWS EMR
Estoy usando spark-redshift (https://github.com/databricks/spark-redshift [https://github.com/databricks/spark-redshift]) que utiliza avro para la transferencia. Leer de Redshift está bien, mientras escribo me sale Caused by: ...
Comando de shell YARN para obtener el número de contenedores y vcores utilizados por las aplicaciones en ejecución
hadoop job -list solo parece mostrar trabajos de reducción de mapas, pero mi IU de administrador de recursos muestra cosas como "CPU VCores asignados" y "MB de memoria asignada" para todos los trabajos que se ejecutan en YARN (incluidos elementos ...
El maestro debe comenzar con hilo, chispa
Recibo este error cuando quiero ejecutar el ejemplo de SparkPi. beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master ego-client --class ...
biblioteca de errores de compilación de spark sbt
1.2.0-bin-hadoop2.4 y mi versión Scala es2.11.7. Recibo un error, así que no puedo usar sbt. ~/sparksample$ sbtStarting sbt: invoke with -help for other options [info] Set current project to Spark Sample (in build ...
Error de Hadoop en Windows: java.lang.UnsatisfiedLinkError
Soy nuevo en Hadoop e intento ejecutar mi primer trabajo de reducción de mapas de Wordcount. Sin embargo, cada vez que intento hacerlo, recibo el siguiente error: java.lang.UnsatisfiedLinkError: ...
Pasar credenciales de HBase en oozie Java Action
Necesito programar una acción Java oozie que interactúe con hbase segura, por lo que necesito proporcionar credenciales hbase para la acción Java. Estoy usando un entorno seguro de hortonworks 2.2, mi flujo de trabajo XML es el ...
Eliminar particiones vacías de Spark RDD
Estoy obteniendo datos de HDFS y almacenándolos en un Spark RDD. Spark crea el número de particiones en función del número de bloques HDFS. Esto conduce a una gran cantidad de particiones vacías que también se procesan durante la tubería. Para ...
Cómo hadoop decide cuántos nodos se asignarán y reducirán tareas
Soy nuevo en hadoop y estoy tratando de entenderlo. Estoy hablando de hadoop 2. Cuando tengo un archivo de entrada que quiero hacer un MapReduce, en el programa MapReduce digo el parámetro del Split, por lo que hará tantas tareas de mapa como ...
¿Cómo funciona el proceso de conmutación por error de Hadoop Namenode?
La guía definitiva de Hadoop dice: Cada Namenode se ejecutaun proceso de controlador de conmutación por error ligero cuyo trabajo espara monitorear su Namenode por fallas(utilizando un mecanismo de latido simple) y desencadenar una conmutación ...
El tipo HTable (config, tablename) está en desuso. ¿Qué uso en su lugar?
¿Qué puedo usar en lugar deHTable(config,tablename)? Este método está en desuso. En cada ejemplo, pude encontrar que usan este u otro Constuctor, que también está en desuso.