Resultados de la búsqueda a petición "yarn"
Apache Spark: la cantidad de núcleos frente a la cantidad de ejecutores
Estoy tratando de entender la relación entre la cantidad de núcleos y la cantidad de ejecutores cuando se ejecuta un trabajo de Spark en YARN. El entorno de prueba es el siguiente: Número de nodos de datos: 3Especificaciones de la máquina del ...
¿spark.yarn.driver.memoryOverhead o spark.yarn.executor.memoryOverhead se utilizan para almacenar qué tipo de datos?
Me preguntaba eso: spark utiliza el spark.yarn.driver.memoryOverhead o spark.yarn.executor.memoryOverhead para almacenar qué tipo de datos?¿Y en qué caso debo aumentar el valor de spark.yarn.driver.memoryOverhead ...
Spark Launcher esperando la finalización del trabajo infinitamente
Estoy tratando de enviar un trabajo JAR con Spark en el clúster YARN desde el código Java. Estoy usando SparkLauncher para enviar el ejemplo de SparkPi: Process spark = new ...
¿Cómo puedo acceder a S3 / S3n desde una instalación local de Hadoop 2.6?
Estoy tratando de reproducir un clúster de Amazon EMR en mi máquina local. Para ello, he instalado elúltima versión estable de Hadoop a partir de ahora - 2.6.0 [http://ftp.cixug.es/apache/hadoop/common/hadoop-2.6.0/]. Ahora me gustaría acceder a ...
Error de trabajo de chispa: YarnAllocator: estado de salida: -100. Diagnóstico: Contenedor lanzado en un nodo * perdido *
Estoy ejecutando un trabajo en AWS-EMR 4.1, Spark 1.5 con la siguiente configuración: spark-submit --deploy-mode cluster --master yarn-cluster --driver-memory 200g --driver-cores 30 --executor-memory 70g --executor-cores 8 --num-executors ...
Las tablas de la colmena no se encuentran cuando se ejecuta en modo YARN-Cluster
Tengo una aplicación Spark (versión 1.4.1) en HDP 2.3. Funciona bien cuando se ejecuta en modo YARN-Client. Sin embargo, cuando se ejecuta en modo YARN-Cluster, la aplicación no puede encontrar ninguna de mis tablas de Hive. Presento la ...
FetchFailedException o MetadataFetchFailedException al procesar grandes conjuntos de datos
Cuando ejecuto el código de análisis con un conjunto de datos de 1 GB, se completa sin ningún error. Pero, cuando intento 25 gb de datos a la vez, obtengo los siguientes errores. Estoy tratando de entender cómo puedo evitar los siguientes fallos. ...
Hadoop 2.6.0: error básico "al iniciar MRAppMaster" después de instalar
Acabo de comenzar a trabajar con Hadoop 2. Después de instalar con configuraciones básicas, siempre no puedo ejecutar ningún ejemplo. ¿Alguien ha visto este problema y por favor ayúdame? Y el error es algo como Error starting MRAppMaster ...
Spark Hive que informa pyspark.sql.utils.AnalysisException: u'Table not found: XXX 'cuando se ejecuta en el cluster de hilo
Estoy intentando ejecutar un script pyspark en BigInsights en Cloud 4.2 Enterprise que accede a una tabla de Hive. Primero creo la tabla de la colmena: [biadmin@bi4c-xxxxx-mastermanager ~]$ hive hive> CREATE TABLE pokes (foo INT, bar STRING); ...
¿Por qué informa Hadoop que "los directorios locales y los directorios de registro del nodo no saludable son malos"?
Estoy tratando de configurar un clúster Hadoop 2.6.0 de un solo nodo en mi PC. En visitahttp: // localhost: 8088 / cluster [http://localhost:8088/cluster], Encuentro que mi nodo aparece como un "nodo no saludable". En el informe de salud, ...