Resultados de la búsqueda a petición "hadoop"
¿Por qué spark-shell falla con NullPointerException?
Trato de ejecutarspark-shell en Windows 10, pero sigo recibiendo este error cada vez que lo ejecuto. Usé las dos últimas versiones y spark-1.5.0-bin-hadoop2.4. 15/09/22 18:46:24 WARN Connection: BoneCP specified but not present in CLASSPATH (or ...
¿Cómo mantener los archivos de registro de YARN?
De repente, mi clúster YARN ha dejado de funcionar, todo lo que envío falla con el "Código de salida 1". Quiero rastrear ese problema, pero tan pronto como una aplicación falla, YARN elimina los archivos de registro. ¿Cuál es la configuración que ...
¿Cómo se pueden enumerar todos los archivos csv en una ubicación HDFS dentro del shell Spark Scala?
El propósito de esto es manipular y guardar una copia de cada archivo de datos en una segunda ubicación en HDFS. Estaré usando RddName.coalesce(1).saveAsTextFile(pathName)para guardar el resultado en HDFS. Es por eso que quiero hacer cada ...
Hadoop: ayuda necesaria para comprender los pasos de procesamiento
Tengo un archivo comprimido y contiene 8 archivos xml de tamaño 5-10kb. Tomé estos datos para fines de prueba. Escribí un solo programa de mapa para descomprimir el archivo comprimido. yowrote program in MR2 and using Hadoop 2.7.1 in psuedo ...
¿Dónde está el error de sintaxis en esta simple consulta de Hive con STRUCT?
Importemos una tabla simple en Hive: hive> CREATE EXTERNAL TABLE tweets (id BIGINT, id_str STRING, user STRUCT<id:BIGINT, screen_name:STRING>) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.JsonSerde' LOCATION '/projets/tweets'; OK Time ...
Colmena: conversión de la matriz <cadena> a la matriz <int> en la consulta
Tengo dos mesas : create table a ( `1` array<string>); create table b ( `1` array<int>);y quiero poner la tabla a en la tabla b (la tabla b está vacía): insert into table b select * from a;Al hacerlo me sale el siguiente error: FAILED: ...
¿Puedo escribir un archivo HDFS (o local) de texto sin formato desde un programa Spark, no desde un RDD?
Tengo un programa Spark (en Scala) y unSparkContext. Estoy escribiendo algunos archivos conRDD'ssaveAsTextFile. En mi máquina local, puedo usar una ruta de archivo local y funciona con el sistema de archivos local. En mi clúster funciona con ...
Spark NullPointerException con saveAsTextFile
Recibo un NPE cuando intento fusionarme y guardar un RDD. El código funciona localmentey funciona en el clúster en el shell scala, pero arroja el error al enviarlo como un trabajo al clúster. Intenté imprimir usando una toma () para ver si el ...
Claves primarias con Apache Spark
Tengo una conexión JDBC con Apache Spark y PostgreSQL y quiero insertar algunos datos en mi base de datos. Cuando usoappend modo que necesito especificarid para cadaDataFrame.Row. ¿Hay alguna forma para que Spark cree claves principales?
¿Cómo se crean los contenedores basados en vcores y memoria en MapReduce2?
Tengo un pequeño clúster compuesto por 1 maestro (namenode, secundarios de namenode, resourcemanager) y 2 esclavos (datanode, nodemanager). He establecido en el sitio-hilado.xml del maestro: yarn.scheduler.minimum-allocation-mb : ...