Resultados de la búsqueda a petición "yarn"

2 la respuesta

Cómo aumentar el número de contenedores en nodemanager en YARN

2 la respuesta

¿Cuál es la relación entre 'mapreduce.map.memory.mb' y 'mapred.map.child.java.opts' en Apache Hadoop YARN?

Me gustaría saber la relación entremapreduce.map.memory.mb ymapred.map.child.java.opts parámetros Esmapreduce.map.memory.mb > mapred.map.child.java.opts? Gracias Kewal.

6 la respuesta

/ bin / bash: / bin / java: no existe tal archivo o directorio

Estaba tratando de ejecutar un simple programa MapReduce de recuento de palabras usando Java 1.7 SDK y Hadoop2.7.1 en Mac OS X EL Captain 10.11 y recibo el siguiente mensaje de error en mi registro de contenedor "stderr" / bin / bash: / bin / ...

1 la respuesta

¿Por qué Yarn en EMR no asigna todos los nodos para ejecutar trabajos de Spark?

Estoy ejecutando un trabajo en Apache Spark en Amazon Elastic Map Reduce (EMR). Actualmente estoy ejecutando emr-4.1.0 que incluye Amazon Hadoop 2.6.0 y Spark 1.5.0. Cuando comienzo el trabajo, YARN ha asignado correctamente todos los nodos ...

1 la respuesta

SPARK: YARN mata contenedores por exceder los límites de memoria

Actualmente nos encontramos con un problema en el que los trabajos de Spark ven que se eliminan varios contenedores por exceder los límites de memoria cuando se ejecutan en YARN. 16/11/18 17:58:52 WARN TaskSetManager: Lost task 53.0 in stage ...

12 la respuesta

El informe de aplicación para application_ (estado: ACEPTADO) nunca termina para Spark Submit (con Spark 1.2.0 en YARN)

Estoy ejecutando la aplicación kinesis plus spark https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html [https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html] Estoy corriendo como abajo comando en la instancia ...

1 la respuesta

Spark ejecutor en yarn-client no toma la configuración de conteo de núcleo de ejecutor

Independientemente del recuento de núcleos del ejecutor de chispas, el contenedor de hilo para el ejecutor no utiliza más de 1 núcleo.

2 la respuesta

Aplicación Spark Kill Running

Tengo una aplicación Spark en ejecución donde ocupa todos los núcleos donde mis otras aplicaciones no recibirán ningún recurso. Hice una investigación rápida y la gente sugirió usar YARN kill o / bin / spark-class para matar el comando. Sin ...

4 la respuesta

FetchFailedException o MetadataFetchFailedException al procesar grandes conjuntos de datos

Cuando ejecuto el código de análisis con un conjunto de datos de 1 GB, se completa sin ningún error. Pero, cuando intento 25 gb de datos a la vez, obtengo los siguientes errores. Estoy tratando de entender cómo puedo evitar los siguientes fallos. ...

3 la respuesta

¿Dónde está el código fuente de los ejemplos de apache hadoop?

¿Puede alguien dirigirme al código fuente de los ejemplos de hilados de Apache Hadoop? La distribución 2.2.0 viene con un nombre de archivo hadoop-mapreduce-...