Resultados de la búsqueda a petición "yarn"
El inicio del modo Apache Spark YARN lleva demasiado tiempo (más de 10 segundos)
Estoy ejecutando una aplicación de chispa con el modo YARN-client o YARN-cluster. Pero parece que lleva demasiado tiempo iniciar. Se tarda más de 10 segundos en inicializar el contexto de chispa. ¿Esto es normal? ¿O puede ser optimizado? El ...
Ejecución simultánea de trabajos en Spark
He usado datos de entrada con el siguiente formato: 0 1 2 3 4 5 … 14 Input Location: hdfs://localhost:9000/Input/datasourceHe usado el siguiente fragmento de código para guardar RDD como archivo de texto usando múltiples hilos: package ...
El informe de aplicación para application_ (estado: ACEPTADO) nunca termina para Spark Submit (con Spark 1.2.0 en YARN)
Estoy ejecutando la aplicación kinesis plus spark https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html [https://spark.apache.org/docs/1.2.0/streaming-kinesis-integration.html] Estoy corriendo como abajo comando en la instancia ...
Hadoop en Windows. YARN no puede comenzar con java.lang.UnsatisfiedLinkError
He instalado / configurado Hadoop en Windows hadoop-2.7.0 Podría iniciar correctamente el comando de ejecución "sbin \ start-dfs". DataNode y NameNode comenzaron. Podría crear un directorio, agregar un archivo al sistema hadoop. Pero ahora, ...
¿Diferencia entre Application Manager y Application Master en YARN?
Comprendí cómo funciona MRv1. Ahora estoy tratando de entender MRv2 ... ¿cuál es la diferencia entre Application Manager y Application Master en YARN?
¿Por qué una JVM informa más memoria comprometida que el tamaño de conjunto residente del proceso de Linux?
Al ejecutar una aplicación Java (en YARN) con el seguimiento de memoria nativa habilitado (-XX:NativeMemoryTracking=detail ...
¿Cómo agregar un archivo de configuración a classpath de todos los ejecutores de Spark en Spark 1.2.0?
Estoy usando Typesafe Config,https://github.com/typesafehub/config [https://github.com/typesafehub/config], para parametrizar un trabajo de Spark que se ejecuta en modo yarn-cluster con un archivo de configuración. El comportamiento ...
Spark Launcher esperando la finalización del trabajo infinitamente
Estoy tratando de enviar un trabajo JAR con Spark en el clúster YARN desde el código Java. Estoy usando SparkLauncher para enviar el ejemplo de SparkPi: Process spark = new ...
¿Cómo lidiar con tareas que se ejecutan demasiado tiempo (en comparación con otras en el trabajo) en Yarn-Client?
Usamos un cluster Spark comoyarn-client para calcular varios negocios, pero a veces tenemos una tarea que se ejecuta demasiado tiempo: [/imgs/IWSbQ.png] No establecemos el tiempo de espera, pero creo que el tiempo de espera predeterminado es ...
"Mala sustitución" cuando se envía trabajo de chispa al grupo de hilos
Estoy haciendo una prueba de humo contra un grupo de hilos usandoyarn-cluster como el maestro con elSparkPi programa de ejemplo. Aquí está la línea de comando: $SPARK_HOME/bin/spark-submit --master yarn-cluster --executor-memory ...