Resultados de la búsqueda a petición "yarn"
¿Cuál es la relación entre 'mapreduce.map.memory.mb' y 'mapred.map.child.java.opts' en Apache Hadoop YARN?
Me gustaría saber la relación entremapreduce.map.memory.mb ymapred.map.child.java.opts parámetros Esmapreduce.map.memory.mb > mapred.map.child.java.opts? Gracias Kewal.
/ bin / bash: / bin / java: no existe tal archivo o directorio
Estaba tratando de ejecutar un simple programa MapReduce de recuento de palabras usando Java 1.7 SDK y Hadoop2.7.1 en Mac OS X EL Captain 10.11 y recibo el siguiente mensaje de error en mi registro de contenedor "stderr" / bin / bash: / bin / ...
¿Por qué Yarn en EMR no asigna todos los nodos para ejecutar trabajos de Spark?
Estoy ejecutando un trabajo en Apache Spark en Amazon Elastic Map Reduce (EMR). Actualmente estoy ejecutando emr-4.1.0 que incluye Amazon Hadoop 2.6.0 y Spark 1.5.0. Cuando comienzo el trabajo, YARN ha asignado correctamente todos los nodos ...
SPARK: YARN mata contenedores por exceder los límites de memoria
Actualmente nos encontramos con un problema en el que los trabajos de Spark ven que se eliminan varios contenedores por exceder los límites de memoria cuando se ejecutan en YARN. 16/11/18 17:58:52 WARN TaskSetManager: Lost task 53.0 in stage ...
El informe de aplicación para application_ (estado: ACEPTADO) nunca termina para Spark Submit (con Spark 1.2.0 en YARN)
Estoy ejecutando la aplicación kinesis plus spark https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html [https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html] Estoy corriendo como abajo comando en la instancia ...
Spark ejecutor en yarn-client no toma la configuración de conteo de núcleo de ejecutor
Independientemente del recuento de núcleos del ejecutor de chispas, el contenedor de hilo para el ejecutor no utiliza más de 1 núcleo.
Aplicación Spark Kill Running
Tengo una aplicación Spark en ejecución donde ocupa todos los núcleos donde mis otras aplicaciones no recibirán ningún recurso. Hice una investigación rápida y la gente sugirió usar YARN kill o / bin / spark-class para matar el comando. Sin ...
FetchFailedException o MetadataFetchFailedException al procesar grandes conjuntos de datos
Cuando ejecuto el código de análisis con un conjunto de datos de 1 GB, se completa sin ningún error. Pero, cuando intento 25 gb de datos a la vez, obtengo los siguientes errores. Estoy tratando de entender cómo puedo evitar los siguientes fallos. ...
¿Dónde está el código fuente de los ejemplos de apache hadoop?
¿Puede alguien dirigirme al código fuente de los ejemplos de hilados de Apache Hadoop? La distribución 2.2.0 viene con un nombre de archivo hadoop-mapreduce-...