Resultados de la búsqueda a petición "hadoop"

2 la respuesta

Spark + Scala transformaciones, inmutabilidad y gastos generales de consumo de memoria

He revisado algunos videos en Youtube sobreChispa - chispear [https://www.youtube.com/watch?v=65aV15uDKgA]arquitectura. Aunque la evaluación diferida, la capacidad de recuperación de la creación de datos en caso de fallas, los buenos conceptos ...

3 la respuesta

¿Cómo agrupar mongodb - salida mapReduce?

Tengo una consulta sobre el marco mapReduce en mongodb, por lo que tengo un resultado del par de valores clave de la función mapReduce, ahora quiero ejecutar la consulta en esta salida de mapReduce. Así que estoy usando mapReduce para averiguar ...

9 la respuesta

java.lang.RuntimeException: no se puede crear una instancia de org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

Tengo las versiones Hadoop 2.7.1 y apache-hive-1.2.1 instaladas en ubuntu 14.0. ¿Por qué ocurre este error?¿Se requiere alguna instalación de metastore?Cuando escribimos el comando hive en la terminal como se llama internamente a los xml, ¿cuál ...

8 la respuesta

Fusionar múltiples archivos en uno dentro de Hadoop

Obtengo varios archivos pequeños en mi directorio de entrada que quiero fusionar en un solo archivo sin usar el sistema de archivos local ni escribir asignaciones. ¿Hay alguna manera de hacerlo usando los comandos hadoof fs o Pig? ¡Gracias!

2 la respuesta

¿Cómo agregar un archivo de configuración typesafe que se encuentra en HDFS para enviar por chispa (modo de clúster)?

Tengo una aplicación Spark (Spark 1.5.2) que transmite datos desde Kafka a HDFS. Mi aplicación contiene dos archivos de configuración Typesafe para configurar ciertas cosas como el tema de Kafka, etc. Ahora quiero ejecutar mi aplicación con ...

1 la respuesta

Lectura en archivo csv como marco de datos de hdfs

Estoy usando pydoop para leer un archivo de hdfs, y cuando uso: import pydoop.hdfs as hd with hd.open("/home/file.csv") as f: print f.read()Me muestra el archivo en stdout. ¿Hay alguna forma de leer este archivo como marco de datos? He ...

5 la respuesta

Spark: verifique la interfaz de usuario de su clúster para asegurarse de que los trabajadores estén registrados

Tengo un programa simple en Spark: /* SimpleApp.scala */ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object SimpleApp { def main(args: Array[String]) { val conf = ...

4 la respuesta

Problemas de instalación de Hive: la base de datos de metastore de Hive no está inicializada

Traté de instalar Hive en una frambuesa pi 2. Instalé Hive descomprimiendo el paquete comprimido de Hive y configuré $ HADOOP_HOME y $ HIVE_HOME manualmente en el grupo de usuarios de hduser que creé. Al ejecutar la colmena, recibí el siguiente ...

1 la respuesta

permisos de archivos de usuario hadoop

Tengo un problema al configurar los permisos de archivos hadoop en hortonworks y cloudera. Mi requerimiento es: 1. create a new user with new group 2. create user directory in hdfs ( ex. /user/myuser ) 3. Now this folder ( in this case ...

9 la respuesta

Hadoop: ... se replicará a 0 nodos en lugar de minReplication (= 1). Hay 1 datanode (s) en ejecución y no se excluyen ningún nodo (s) en esta operación

Recibo el siguiente error cuando intento escribir en HDFS como parte de mi aplicación multiproceso could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this ...