Resultados de la búsqueda a petición "hadoop"
Consulta de Hadoop sobre el método setJarByClass de la clase Job
En la documentación de la API de Hadoop se proporciona ese setJarByClass public void setJarByClass(Class<?> cls) Set the Jar by finding where a given class came from.¿Qué significa exactamente esta explicación? ¿crea un archivo JAR a partir del ...
Lea desde una tabla de colmena y escríbale usando spark sql
Estoy leyendo una tabla de Hive usando Spark SQL y asignándola a un scala val val x = sqlContext.sql("select * from some_table")Luego estoy procesando un poco con el marco de datos x y finalmente obtengo un marco de datos y, que tiene el esquema ...
¿Cómo limitar la autoasignación dinámica de recursos en el clúster Hadoop bajo Yarn?
En nuestro clúster de Hadoop que se ejecuta bajo Yarn, tenemos el problema de que algunas personas "más inteligentes" pueden consumir grandes cantidades de recursos configurando trabajos de Spark en portátiles pySpark Jupyter como: conf = ...
Spark 2.0: "Tabla o vista no encontrada" al consultar Hive [cerrado]
Al consultar Hive a través despark-shell 2.0: spark.sql("SELECT * FROM schemaname.tablename")Lanza un error: 16/08/13 09:24:17 INFO execution.SparkSqlParser: Parsing command: SELECT * FROM schemaname.tablename ...
Conexión al servicio HBase remoto utilizando Java
Tengo un pequeño código de muestra en el que trato de establecer una conexión con una entidad remota de HBase. El código se ejecuta en una máquina con Windows sin HBase instalado e intento conectarme a un servidor Ubuntu remoto que lo tiene ...
Conexión a un maestro remoto de Spark - Java / Scala
Creé un nodo 3 (1 maestro, 2 trabajadores)Apache Spark clúster en AWS. Puedo enviar trabajos al clúster desde el maestro, sin embargo, no puedo hacer que funcione de forma remota. /* SimpleApp.scala */ import org.apache.spark.SparkContext ...
El valor de la variable global no cambia después de Loop
Estoy desarrollando un proyecto hadoop. Quiero encontrar clientes en un día determinado y luego escribir aquellos con el consumo máximo en ese día. En mi clase reductora, por alguna razón, la variable globalmax no cambia su valor después de un ...
El directorio de scratch raíz: / tmp / hive en HDFS debe poder escribirse. Los permisos actuales son: -wx ------
He cambiado el permiso usando el comando hdfs. Todavía muestra el mismo error. El directorio de scratch raíz: / tmp / hive en HDFS debe poder escribirse. Los permisos actuales son: -wx ------ Programa Java que estoy ejecutando. import ...
Excepción al usar la vista lateral en Hive
Estoy usando el siguiente código para analizar datos xml en Hive. En mis datos xml, se repiten algunas etiquetas, por lo que estoy usando el tarro brickhouse y la vista lateral para analizar las etiquetas y colocarlas en las tablas de Hive. Pero ...
¿Cómo configurar un reductor para emitir <Texto, IntWritable> y un mapeador para recibir <Texto, IntWritable>?
Estoy desarrollando un código enhadoopconMapa reducidoque usados mapeadores y dos reductores.Me han dicho que useSequenceFileInputFormaty SequenceFileOutputFormatpara hacer que la salida del primer reductor y la entrada del segundo mapeador ...