Resultados de la búsqueda a petición "yarn"
Pase el código de salida personalizado desde la chispa del modo cluster de hilo a la CLI
Comencé un trabajo de chispa en modo cluster de hilo a través de spark-submit. Para indicar una falla parcial, etc. Quiero pasar el código de salida del controlador al script que llama a spark-submit. Probé ambos, System.exit y lancé ...
¿Cómo mantener los archivos de registro de YARN?
De repente, mi clúster YARN ha dejado de funcionar, todo lo que envío falla con el "Código de salida 1". Quiero rastrear ese problema, pero tan pronto como una aplicación falla, YARN elimina los archivos de registro. ¿Cuál es la configuración que ...
¿Cómo cambiar la configuración del planificador de hilo en aws EMR?
A diferencia de HortonWorks o Cloudera, AWS EMR no parece proporcionar ninguna GUI para cambiar las configuraciones xml de varios marcos de ecosistemas hadoop. Iniciar sesión en mi nombre de nodo EMR y hacer un rápido find \ -iname ...
¿Cómo agregar un archivo de configuración a classpath de todos los ejecutores de Spark en Spark 1.2.0?
Estoy usando Typesafe Config,https://github.com/typesafehub/config [https://github.com/typesafehub/config], para parametrizar un trabajo de Spark que se ejecuta en modo yarn-cluster con un archivo de configuración. El comportamiento ...
Acceda a un Hive seguro cuando ejecute Spark en un clúster YARN no seguro
Tenemos dos clústeres de cloudera 5.7.1, uno protegido con Kerberos y otro no seguro. ¿Es posible ejecutar Spark utilizando el clúster YARN no seguro mientras se accede a las tablas de la colmena almacenadas en el clúster seguro? (La versión de ...
¿Por qué hay una configuración mapreduce.jobtracker.address en YARN?
YARN es la segunda generación de Hadoop que ya no usa el daemon de JobTracker y lo sustituye con el administrador de recursos. Pero ¿por qué, en mapred-site.xml hadoop 2 hay una propiedad mapreduce.jobtracker.address?
¿Cómo configurar los VCORES en hadoop mapreduce / yarn?
Los siguientes son mi configuración: **mapred-site.xml** map-mb : 4096 opts:-Xmx3072m reduce-mb : 8192 opts:-Xmx6144m **yarn-site.xml** resource memory-mb : 40GB min allocation-mb : 1GBlos Vcores en el clúster hadoop mostraban 8 GB, pero no sé ...
Apache Spark: establecer instancias de ejecutor no cambia los ejecutores
Tengo una aplicación Apache Spark ejecutándose en un clúster YARN (spark tiene 3 nodos en este clúster) en modo clúster. Cuando la aplicación se está ejecutando, Spark-UI muestra que 2 ejecutores (cada uno que se ejecuta en un nodo diferente) y ...
No se puede iniciar un administrador de nodos en el maestro
Estoy configurando un clúster Hadoop YARN y estoy usando una máquina como maestro y esclavo. Cuando inicio el YARN usando el siguiente comando, inicia el administrador de nodos en esclavos pero no en el nodo maestro. sbin/yarn-daemons.sh start ...
Ejecución simultánea de trabajos en Spark
He usado datos de entrada con el siguiente formato: 0 1 2 3 4 5 … 14 Input Location: hdfs://localhost:9000/Input/datasourceHe usado el siguiente fragmento de código para guardar RDD como archivo de texto usando múltiples hilos: package ...