Resultados de la búsqueda a petición "yarn"
Cómo configurar Zeppelin para que funcione con el clúster remoto de hilos EMR
Tengo el clúster Amazon EMR Hadoop v2.6 con Spark 1.4.1, con el administrador de recursos Yarn. Quiero implementar Zeppelin en una máquina separada para permitir apagar el clúster EMR cuando no hay trabajos en ejecución. Traté de seguir las ...
¿Cómo mantener los archivos de registro de YARN?
De repente, mi clúster YARN ha dejado de funcionar, todo lo que envío falla con el "Código de salida 1". Quiero rastrear ese problema, pero tan pronto como una aplicación falla, YARN elimina los archivos de registro. ¿Cuál es la configuración que ...
¿Cómo se crean los contenedores basados en vcores y memoria en MapReduce2?
Tengo un pequeño clúster compuesto por 1 maestro (namenode, secundarios de namenode, resourcemanager) y 2 esclavos (datanode, nodemanager). He establecido en el sitio-hilado.xml del maestro: yarn.scheduler.minimum-allocation-mb : ...
Comando de shell YARN para obtener el número de contenedores y vcores utilizados por las aplicaciones en ejecución
hadoop job -list solo parece mostrar trabajos de reducción de mapas, pero mi IU de administrador de recursos muestra cosas como "CPU VCores asignados" y "MB de memoria asignada" para todos los trabajos que se ejecutan en YARN (incluidos elementos ...
Spark ejecutor en yarn-client no toma la configuración de conteo de núcleo de ejecutor
Independientemente del recuento de núcleos del ejecutor de chispas, el contenedor de hilo para el ejecutor no utiliza más de 1 núcleo.
Cómo YARN conoce la localidad de datos en Apache spark en modo cluster
Suponga que hay un trabajo de Spark que leerá un archivo llamado records.txt de HDFS y realizará algunas transformaciones y una acción (escriba la salida procesada en HDFS). El trabajo se enviará al modo de clúster YARN Suponga también que ...
¿Por qué Yarn en EMR no asigna todos los nodos para ejecutar trabajos de Spark?
Estoy ejecutando un trabajo en Apache Spark en Amazon Elastic Map Reduce (EMR). Actualmente estoy ejecutando emr-4.1.0 que incluye Amazon Hadoop 2.6.0 y Spark 1.5.0. Cuando comienzo el trabajo, YARN ha asignado correctamente todos los nodos ...
/ bin / bash: / bin / java: no existe tal archivo o directorio
Estaba tratando de ejecutar un simple programa MapReduce de recuento de palabras usando Java 1.7 SDK y Hadoop2.7.1 en Mac OS X EL Captain 10.11 y recibo el siguiente mensaje de error en mi registro de contenedor "stderr" / bin / bash: / bin / ...
Las tablas de la colmena no se encuentran cuando se ejecuta en modo YARN-Cluster
Tengo una aplicación Spark (versión 1.4.1) en HDP 2.3. Funciona bien cuando se ejecuta en modo YARN-Client. Sin embargo, cuando se ejecuta en modo YARN-Cluster, la aplicación no puede encontrar ninguna de mis tablas de Hive. Presento la ...
Error de trabajo de chispa: YarnAllocator: estado de salida: -100. Diagnóstico: Contenedor lanzado en un nodo * perdido *
Estoy ejecutando un trabajo en AWS-EMR 4.1, Spark 1.5 con la siguiente configuración: spark-submit --deploy-mode cluster --master yarn-cluster --driver-memory 200g --driver-cores 30 --executor-memory 70g --executor-cores 8 --num-executors ...