Resultados de la búsqueda a petición "yarn"
¿Cómo puedo acceder a S3 / S3n desde una instalación local de Hadoop 2.6?
Estoy tratando de reproducir un clúster de Amazon EMR en mi máquina local. Para ello, he instalado elúltima versión estable de Hadoop a partir de ahora - 2.6.0 [http://ftp.cixug.es/apache/hadoop/common/hadoop-2.6.0/]. Ahora me gustaría acceder a ...
Recursos / Documentación sobre cómo funciona el proceso de conmutación por error para el Spark Driver (y su YARN Container) en modo hilo-clúster
Estoy tratando de entender si el Spark Driver es un punto único de falla cuando se implementa en modo de clúster para Yarn. Por lo tanto, me gustaría obtener una mejor comprensión de las entrañas del proceso de conmutación por error con respecto ...
¿Cómo iniciar sesión usando log4j en el sistema de archivos local dentro de una aplicación Spark que se ejecuta en YARN?
Estoy creando una aplicación Apache Spark Streaming y no puedo hacer que se registre en un archivo en el sistema de archivos localcuando se ejecuta en HILO. ¿Cómo se puede lograr esto? He puestolog4.properties archivo para que pueda escribir ...
¿Qué es la memoria reservada en hilo?
Logré lanzar una aplicación de chispa en Yarn. Sin embargo, el uso de emory es un poco extraño, como puede ver a continuación: http://imgur.com/1k6VvSI [http://imgur.com/1k6VvSI] ¿Qué significa memoria reservada? ¿Cómo puedo usar eficientemente ...
GCP Dataproc: configure el planificador justo de YARN
Estaba tratando de configurar un clúster de procesamiento de datos que computaría solo un trabajo (o trabajos máximos especificados) a la vez y el resto estaría en la cola. He encontrado esta solución¿Cómo configurar la cola de aplicaciones ...
¿Por qué informa Hadoop que "los directorios locales y los directorios de registro del nodo no saludable son malos"?
Estoy tratando de configurar un clúster Hadoop 2.6.0 de un solo nodo en mi PC. En visitahttp: // localhost: 8088 / cluster [http://localhost:8088/cluster], Encuentro que mi nodo aparece como un "nodo no saludable". En el informe de salud, ...
Aplicación Spark Kill Running
Tengo una aplicación Spark en ejecución donde ocupa todos los núcleos donde mis otras aplicaciones no recibirán ningún recurso. Hice una investigación rápida y la gente sugirió usar YARN kill o / bin / spark-class para matar el comando. Sin ...
¿Por qué hay una configuración mapreduce.jobtracker.address en YARN?
YARN es la segunda generación de Hadoop que ya no usa el daemon de JobTracker y lo sustituye con el administrador de recursos. Pero ¿por qué, en mapred-site.xml hadoop 2 hay una propiedad mapreduce.jobtracker.address?
Apache Spark: establecer instancias de ejecutor no cambia los ejecutores
Tengo una aplicación Apache Spark ejecutándose en un clúster YARN (spark tiene 3 nodos en este clúster) en modo clúster. Cuando la aplicación se está ejecutando, Spark-UI muestra que 2 ejecutores (cada uno que se ejecuta en un nodo diferente) y ...
Apache Hadoop Yarn - Subutilización de núcleos
No importa cuánto juegue con la configuración enyarn-site.xml es decir, usar todas las opciones a continuación yarn.scheduler.minimum-allocation-vcores yarn.nodemanager.resource.memory-mb yarn.nodemanager.resource.cpu-vcores ...