Resultados de la búsqueda a petición "hadoop"
Hadoop entradas múltiples
Estoy usando hadoop map reduce y quiero calcular dos archivos. Mi primera iteración Map / Reduce me está dando un archivo con un número de ID de par como este: A 30 D 20Mi objetivo es usar esa ID del archivo para asociarla con otro archivo y ...
Mapfile como entrada para un trabajo MapReduce
Recientemente comencé a usar Hadoop y tengo un problema al usar un Mapfile como entrada para un trabajo de MapReduce. El siguiente código de trabajo, escribe un MapFile simple llamado "TestMap" en hdfs donde hay tres claves de tipo Text y tres ...
Particionador Hadoop
Quiero preguntar sobre el particionador de Hadoop, ¿está implementado en Mappers? Cómo medir el rendimiento del uso del particionador hash predeterminado: ¿hay un mejor particionador para reducir el sesgo de datos? Gracias
"No hay sistema de archivos para el esquema: gs" cuando se ejecuta el trabajo de chispa localmente
Estoy ejecutando un trabajo de Spark (versión 1.2.0), y la entrada es una carpeta dentro de un depósito de Google Clous Storage (es decir, gs: // mybucket / folder) Cuando ejecuto el trabajo localmente en mi máquina Mac, obtengo el ...
Hadoop 2.6.0: error básico "al iniciar MRAppMaster" después de instalar
Acabo de comenzar a trabajar con Hadoop 2. Después de instalar con configuraciones básicas, siempre no puedo ejecutar ningún ejemplo. ¿Alguien ha visto este problema y por favor ayúdame? Y el error es algo como Error starting MRAppMaster ...
leer archivos recursivamente desde subdirectorios con chispa de s3 o sistema de archivos local
Estoy tratando de leer archivos de un directorio que contiene muchos subdirectorios. Los datos están en S3 y estoy tratando de hacer esto: val rdd ...
HDFS_NAMENODE_USER, HDFS_DATANODE_USER y HDFS_SECONDARYNAMENODE_USER no definido
Soy nuevo en hadoop. Estoy tratando de instalar hadoop en mi computadora portátil en modo Pseudo-Distribuido. Lo estoy ejecutando con el usuario root, pero recibo el siguiente error. root@debdutta-Lenovo-G50-80:~# ...
Recursos / Documentación sobre cómo funciona el proceso de conmutación por error para el Spark Driver (y su YARN Container) en modo hilo-clúster
Estoy tratando de entender si el Spark Driver es un punto único de falla cuando se implementa en modo de clúster para Yarn. Por lo tanto, me gustaría obtener una mejor comprensión de las entrañas del proceso de conmutación por error con respecto ...
¿Cómo puedo acceder a S3 / S3n desde una instalación local de Hadoop 2.6?
Estoy tratando de reproducir un clúster de Amazon EMR en mi máquina local. Para ello, he instalado elúltima versión estable de Hadoop a partir de ahora - 2.6.0 [http://ftp.cixug.es/apache/hadoop/common/hadoop-2.6.0/]. Ahora me gustaría acceder a ...
Prácticas estándar para iniciar sesión en trabajos de MapReduce
Estoy tratando de encontrar el mejor enfoque para iniciar sesión en trabajos de MapReduce. Estoy usando slf4j con log4j appender como en mis otras aplicaciones Java, pero dado que el trabajo de MapReduce se ejecuta de manera distribuida en todo ...