Resultados de la búsqueda a petición "hadoop"
Excepción de chispa: la tarea falló al escribir filas
Estoy leyendo archivos de texto y convirtiéndolos en archivos de parquet. Lo estoy haciendo usando el código de chispa. Pero cuando intento ejecutar el código obtengo la siguiente excepción org.apache.spark.SparkException: Job aborted due to ...
¿Cómo puedo ejecutar Hadoop con una clase Java?
Estoy siguiendo el libroHadoop: la guía definitiva [http://shop.oreilly.com/product/9780596521981.do]. Estoy confundido en el ejemplo 3-1. Hay un archivo fuente Java, URLCat.java. yo suelojavac para compilarlo en URLCat.class, luego usejar para ...
¿Cómo leer múltiples elementos de línea en Spark?
Cuando lees un archivo en Spark usandosc.textfile, le da elementos, donde cada elemento es una línea separada. Sin embargo, quiero que cada elemento consista en N número de líneas. Tampoco puedo usar delimitadores porque no hay ninguno en ese ...
Phoenix no muestra valores enteros negativos correctamente
Estoy creando una tabla HBASE con un valor de entero -17678. Pero cuando lo recupero de pheonix me da un valor positivo diferente. RowKey es un rowkey compuesto y no hay ningún problema con rowkey. Inserción de Hbase: public class test { public ...
ClassNotFoundException: org.apache.hive.jdbc.HiveDriver
Soy bastante nuevo en Java. Estoy tratando de conectarme al servidor de la colmena a través de Java y utilicé un código de muestra ...
Ordenar datos grandes usando MapReduce / Hadoop
Estoy leyendo sobre MapReduce y lo siguiente me confunde. Supongamos que tenemos un archivo con 1 millón de entradas (enteros) y queremos ordenarlos usando MapReduce. La forma en que entendí hacer esto es la siguiente: Escribe una función de ...
¿Cómo descomprimir archivos almacenados en HDFS usando Java, sin copiar primero en el sistema de archivos local?
Estamos almacenando archivos zip, que contienen archivos XML, en HDFS. Necesitamos poder descomprimir programáticamente el archivo y transmitir los archivos XML contenidos, utilizando Java. FileSystem.open devuelve un FSDataInputStream pero los ...
¿Spark admite subconsultas? [duplicar
Esta pregunta ya tiene una respuesta aquí: ¿SparkSQL admite subconsultas? [/questions/33933118/does-sparksql-support-subquery] 2 respuestasCuando estoy ejecutando esta consulta, recibí este tipo de error select * from raw_2 where ip NOT IN ...
¿Qué sucede si un RDD no cabe en la memoria en Spark? [duplicar
Esta pregunta ya tiene una respuesta aquí: ¿Qué hará chispa si no tengo suficiente memoria? [/questions/20301661/what-will-spark-do-if-i-dont-have-enough-memory] 3 respuestas Hasta donde yo sé, Spark intenta hacer todos los cálculos en ...
SemanticException en el modo Shell de colmena
excepción de colmena [https://i.stack.imgur.com/wfhIV.png] He instalado Hadoop 3.0.0 y Hive 2.3.1 en mi PC. Paralelamente, instalé mysql y trabajé con comandos sql en modo shell sql y funcionó bien. Pero al ejecutar consultas en el modo shell ...