Resultados de la búsqueda a petición "hadoop"
Solo obtenga los nombres de columna de la tabla de la colmena
Sé que puedes obtener los nombres de columna de una tabla a través del siguiente truco en la colmena: hive> set hive.cli.print.header=true; hive> select * from tablename;¿También es posiblesóloobtener los nombres de columna de la tabla? No me ...
Spark SQL no puede completar la escritura de datos de Parquet con una gran cantidad de fragmentos
Estoy tratando de usar Apache Spark SQL para etl json registrar datos en S3 en archivos Parquet también en S3. Mi código es básicamente: import org.apache.spark._ val sqlContext = sql.SQLContext(sc) val data = sqlContext.jsonFile("s3n://...", ...
Construyendo Apache Pig para la versión Hadoop 2.4
Descargué PIG 0.14 e hice unant -dhadoopversion = 23 jar, pero cuando lo usé en Hadoop 2.4 no funciona. ¿Hay algo que deba hacer además de ejecutar Ant? Pig se está ejecutando, pero muestra errores ang.IncompatibleClassChangeError: interfaz ...
Operación de escritura Hadoop HDFS mediante programación
Hice una pregunta similar hace un tiempo, pero luego no tenía idea de lo que estaba hablando. Estoy publicando esta pregunta con más detalles y consultas puntuales. Así que configuré el clúster hadoop con namenode y 2 datanodes. Estoy ...
Cómo convertir una cadena en marca de tiempo con milisegundos en Hive
Tengo una cadena '20141014123456789' que representa una marca de tiempo con milisegundos que necesito convertir a una marca de tiempo en Hive (0.13.0) sin perder los milisegundos. Intenté esto pero unix_timestamp devuelve un entero, por lo que ...
Acceso a mesas de colmena en chispa
Tengo la instalación de Hive 0.13 y he creado bases de datos personalizadas. Tengo el clúster de nodo único spark 1.1.0 construido con la opción mvn -hive. Quiero acceder a las tablas en esta base de datos en la aplicación spark ...
Excepción en el hilo "main" java.lang.NoClassDefFoundError: org / apache / hadoop / hbase / HBaseConfiguration
Estoy usando Hadoop 1.0.3 y HBase 0.94.22. Estoy tratando de ejecutar un programa mapeador para leer valores de una tabla Hbase y enviarlos a un archivo. Estoy teniendo el siguiente error: Exception in thread "main" ...
¿Es posible ejecutar trabajos de Hadoop (como el ejemplo de WordCount) en el modo local en Windows sin Cygwin?
Tengo Windows 7, Java 8, Maven y Eclipse. Creé un proyecto Maven y usé casi exactamente el mismo código queaquí [https://github.com/alexcpn/WordCountHadoop2]. Es solo una simple muestra de "conteo de palabras". Intento iniciar el ...
Hay 0 datanode (s) en ejecución y no se excluyen ningún nodo (s) en esta operación
He configurado un clúster Hadoop de múltiples nodos. NameNode y Secondary namenode se ejecutan en la misma máquina y el clúster solo tiene un Datanode. Todos los nodos están configurados en máquinas Amazon EC2. Los siguientes son los archivos de ...
Google Analytics: obtener registros de datos sin procesar
Tengo una aplicación que envía datos a Google Analytics. Estoy interesado en acceder y almacenar estos datos en un clúster de Hadoop. Supongo que estos datos sin procesar estarán en forma de registros. En particular, me gustaría ver el user_id, ...