Resultados de la búsqueda a petición "yarn"
¿Cómo mantener los archivos de registro de YARN?
De repente, mi clúster YARN ha dejado de funcionar, todo lo que envío falla con el "Código de salida 1". Quiero rastrear ese problema, pero tan pronto como una aplicación falla, YARN elimina los archivos de registro. ¿Cuál es la configuración que ...
Apache Spark: la cantidad de núcleos frente a la cantidad de ejecutores
Estoy tratando de entender la relación entre la cantidad de núcleos y la cantidad de ejecutores cuando se ejecuta un trabajo de Spark en YARN. El entorno de prueba es el siguiente: Número de nodos de datos: 3Especificaciones de la máquina del ...
Ejecutar hilo con chispa no funciona con Java 8
Tengo un clúster con 1 maestro y 6 esclavos que usa la versión preconstruida de hadoop 2.6.0 y spark 1.6.2. Estaba ejecutando hadoop MR y trabajos sin problemas con openjdk 7 instalado en todos los nodos. Sin embargo, cuando actualicé openjdk 7 a ...
/ bin / bash: / bin / java: no existe tal archivo o directorio
Estaba tratando de ejecutar un simple programa MapReduce de recuento de palabras usando Java 1.7 SDK y Hadoop2.7.1 en Mac OS X EL Captain 10.11 y recibo el siguiente mensaje de error en mi registro de contenedor "stderr" / bin / bash: / bin / ...
Error al ejecutar Mapreduce (hilo) desde el eclipse de Windows
Estoy ejecutando un programa WordCount desde mi eclipse. Intenté con Hadoop1.x está funcionando bien. Enfrentando un problema mientras se ejecuta en hadoop2.x intenté 1) agregué todo xml a mi classpath. 2) también probé conf.set ...
¿Cómo funciona Spark en YARN para el uso de memoria Python?
Después de leer la documentación, no entiendo cómo funciona Spark en YARN para el consumo de memoria de Python. ¿Cuenta paraspark.executor.memory, spark.executor.memoryOverhead ¿o donde? En particular, tengo una aplicación PySpark ...
¿Cómo se crean los contenedores basados en vcores y memoria en MapReduce2?
Tengo un pequeño clúster compuesto por 1 maestro (namenode, secundarios de namenode, resourcemanager) y 2 esclavos (datanode, nodemanager). He establecido en el sitio-hilado.xml del maestro: yarn.scheduler.minimum-allocation-mb : ...
¿Cómo agregar un archivo de configuración a classpath de todos los ejecutores de Spark en Spark 1.2.0?
Estoy usando Typesafe Config,https://github.com/typesafehub/config [https://github.com/typesafehub/config], para parametrizar un trabajo de Spark que se ejecuta en modo yarn-cluster con un archivo de configuración. El comportamiento ...
¿Cómo limitar el número de reintentos en la falla del trabajo de Spark?
Estamos ejecutando un trabajo de Spark a través despark-submit, y puedo ver que el trabajo se volverá a enviar en caso de falla. ¿Cómo puedo evitar que tenga el intento n. ° 2 en caso de falla del contenedor de hilo o cualquiera que sea la ...
Las tablas de la colmena no se encuentran cuando se ejecuta en modo YARN-Cluster
Tengo una aplicación Spark (versión 1.4.1) en HDP 2.3. Funciona bien cuando se ejecuta en modo YARN-Client. Sin embargo, cuando se ejecuta en modo YARN-Cluster, la aplicación no puede encontrar ninguna de mis tablas de Hive. Presento la ...