Resultados de la búsqueda a petición "yarn"

8 la respuesta

Apache Spark: la cantidad de núcleos frente a la cantidad de ejecutores

Estoy tratando de entender la relación entre la cantidad de núcleos y la cantidad de ejecutores cuando se ejecuta un trabajo de Spark en YARN. El entorno de prueba es el siguiente: Número de nodos de datos: 3Especificaciones de la máquina del ...

1 la respuesta

¿spark.yarn.driver.memoryOverhead o spark.yarn.executor.memoryOverhead se utilizan para almacenar qué tipo de datos?

Me preguntaba eso: spark utiliza el spark.yarn.driver.memoryOverhead o spark.yarn.executor.memoryOverhead para almacenar qué tipo de datos?¿Y en qué caso debo aumentar el valor de spark.yarn.driver.memoryOverhead ...

3 la respuesta

Spark Launcher esperando la finalización del trabajo infinitamente

Estoy tratando de enviar un trabajo JAR con Spark en el clúster YARN desde el código Java. Estoy usando SparkLauncher para enviar el ejemplo de SparkPi: Process spark = new ...

5 la respuesta

¿Cómo puedo acceder a S3 / S3n desde una instalación local de Hadoop 2.6?

Estoy tratando de reproducir un clúster de Amazon EMR en mi máquina local. Para ello, he instalado elúltima versión estable de Hadoop a partir de ahora - 2.6.0 [http://ftp.cixug.es/apache/hadoop/common/hadoop-2.6.0/]. Ahora me gustaría acceder a ...

0 la respuesta

Error de trabajo de chispa: YarnAllocator: estado de salida: -100. Diagnóstico: Contenedor lanzado en un nodo * perdido *

Estoy ejecutando un trabajo en AWS-EMR 4.1, Spark 1.5 con la siguiente configuración: spark-submit --deploy-mode cluster --master yarn-cluster --driver-memory 200g --driver-cores 30 --executor-memory 70g --executor-cores 8 --num-executors ...

2 la respuesta

Las tablas de la colmena no se encuentran cuando se ejecuta en modo YARN-Cluster

Tengo una aplicación Spark (versión 1.4.1) en HDP 2.3. Funciona bien cuando se ejecuta en modo YARN-Client. Sin embargo, cuando se ejecuta en modo YARN-Cluster, la aplicación no puede encontrar ninguna de mis tablas de Hive. Presento la ...

4 la respuesta

FetchFailedException o MetadataFetchFailedException al procesar grandes conjuntos de datos

Cuando ejecuto el código de análisis con un conjunto de datos de 1 GB, se completa sin ningún error. Pero, cuando intento 25 gb de datos a la vez, obtengo los siguientes errores. Estoy tratando de entender cómo puedo evitar los siguientes fallos. ...

1 la respuesta

Hadoop 2.6.0: error básico "al iniciar MRAppMaster" después de instalar

Acabo de comenzar a trabajar con Hadoop 2. Después de instalar con configuraciones básicas, siempre no puedo ejecutar ningún ejemplo. ¿Alguien ha visto este problema y por favor ayúdame? Y el error es algo como Error starting MRAppMaster ...

2 la respuesta

Spark Hive que informa pyspark.sql.utils.AnalysisException: u'Table not found: XXX 'cuando se ejecuta en el cluster de hilo

Estoy intentando ejecutar un script pyspark en BigInsights en Cloud 4.2 Enterprise que accede a una tabla de Hive. Primero creo la tabla de la colmena: [biadmin@bi4c-xxxxx-mastermanager ~]$ hive hive> CREATE TABLE pokes (foo INT, bar STRING); ...

7 la respuesta

¿Por qué informa Hadoop que "los directorios locales y los directorios de registro del nodo no saludable son malos"?

Estoy tratando de configurar un clúster Hadoop 2.6.0 de un solo nodo en mi PC. En visitahttp: // localhost: 8088 / cluster [http://localhost:8088/cluster], Encuentro que mi nodo aparece como un "nodo no saludable". En el informe de salud, ...