Resultados de la búsqueda a petición "hadoop"
Spark + Scala transformaciones, inmutabilidad y gastos generales de consumo de memoria
He revisado algunos videos en Youtube sobreChispa - chispear [https://www.youtube.com/watch?v=65aV15uDKgA]arquitectura. Aunque la evaluación diferida, la capacidad de recuperación de la creación de datos en caso de fallas, los buenos conceptos ...
¿Cómo agrupar mongodb - salida mapReduce?
Tengo una consulta sobre el marco mapReduce en mongodb, por lo que tengo un resultado del par de valores clave de la función mapReduce, ahora quiero ejecutar la consulta en esta salida de mapReduce. Así que estoy usando mapReduce para averiguar ...
java.lang.RuntimeException: no se puede crear una instancia de org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
Tengo las versiones Hadoop 2.7.1 y apache-hive-1.2.1 instaladas en ubuntu 14.0. ¿Por qué ocurre este error?¿Se requiere alguna instalación de metastore?Cuando escribimos el comando hive en la terminal como se llama internamente a los xml, ¿cuál ...
Fusionar múltiples archivos en uno dentro de Hadoop
Obtengo varios archivos pequeños en mi directorio de entrada que quiero fusionar en un solo archivo sin usar el sistema de archivos local ni escribir asignaciones. ¿Hay alguna manera de hacerlo usando los comandos hadoof fs o Pig? ¡Gracias!
¿Cómo agregar un archivo de configuración typesafe que se encuentra en HDFS para enviar por chispa (modo de clúster)?
Tengo una aplicación Spark (Spark 1.5.2) que transmite datos desde Kafka a HDFS. Mi aplicación contiene dos archivos de configuración Typesafe para configurar ciertas cosas como el tema de Kafka, etc. Ahora quiero ejecutar mi aplicación con ...
Lectura en archivo csv como marco de datos de hdfs
Estoy usando pydoop para leer un archivo de hdfs, y cuando uso: import pydoop.hdfs as hd with hd.open("/home/file.csv") as f: print f.read()Me muestra el archivo en stdout. ¿Hay alguna forma de leer este archivo como marco de datos? He ...
Spark: verifique la interfaz de usuario de su clúster para asegurarse de que los trabajadores estén registrados
Tengo un programa simple en Spark: /* SimpleApp.scala */ import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object SimpleApp { def main(args: Array[String]) { val conf = ...
Problemas de instalación de Hive: la base de datos de metastore de Hive no está inicializada
Traté de instalar Hive en una frambuesa pi 2. Instalé Hive descomprimiendo el paquete comprimido de Hive y configuré $ HADOOP_HOME y $ HIVE_HOME manualmente en el grupo de usuarios de hduser que creé. Al ejecutar la colmena, recibí el siguiente ...
permisos de archivos de usuario hadoop
Tengo un problema al configurar los permisos de archivos hadoop en hortonworks y cloudera. Mi requerimiento es: 1. create a new user with new group 2. create user directory in hdfs ( ex. /user/myuser ) 3. Now this folder ( in this case ...
Hadoop: ... se replicará a 0 nodos en lugar de minReplication (= 1). Hay 1 datanode (s) en ejecución y no se excluyen ningún nodo (s) en esta operación
Recibo el siguiente error cuando intento escribir en HDFS como parte de mi aplicación multiproceso could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this ...