Resultados de la búsqueda a petición "yarn"
Apache Spark: la cantidad de núcleos frente a la cantidad de ejecutores
Estoy tratando de entender la relación entre la cantidad de núcleos y la cantidad de ejecutores cuando se ejecuta un trabajo de Spark en YARN. El entorno de prueba es el siguiente: Número de nodos de datos: 3Especificaciones de la máquina del ...
¿Las aplicaciones no se muestran en la interfaz de usuario de hilo cuando se ejecuta el trabajo mapreduce hadoop?
estoy usandoHadoop2.2. Veo que mis trabajos se completan con éxito. Puedo navegar por el sistema de archivos para encontrar la salida. Sin embargo, cuando navegohttp://NNode:8088/cluster/apps, No puedo ver ninguna aplicación que se haya ...
No se puede iniciar un administrador de nodos en el maestro
Estoy configurando un clúster Hadoop YARN y estoy usando una máquina como maestro y esclavo. Cuando inicio el YARN usando el siguiente comando, inicia el administrador de nodos en esclavos pero no en el nodo maestro. sbin/yarn-daemons.sh start ...
Cómo establecer el número máximo preciso de tareas que se ejecutan simultáneamente por nodo en Hadoop 2.4.0 en Elastic MapReduce
De acuerdo a http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/ [http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/] , la fórmula para determinar el número de ...
¿Cómo desactivar el inicio de sesión INFO en Spark?
Instalé Spark usando la guía AWS EC2 y puedo iniciar bien el programa usando elbin/pyspark secuencia de comandos para llegar al indicador de chispa y también puede hacer el inicio rápido rápidamente. Sin embargo, no puedo por mi vida descubrir ...
Spark Indefinite Waiting con "Se le pide que envíe ubicaciones de salida del mapa para barajar"
Mis trabajos a menudo cuelgan con este tipo de mensaje: 14/09/01 00:32:18 INFO spark.MapOutputTrackerMasterActor: Asked to send map output locations for shuffle 0 to spark@*:37619Sería genial si alguien pudiera explicar qué está haciendo Spark ...
Ejecutar Spark en YARN en modo hilo-clúster: ¿A dónde va la salida de la consola?
Seguí esta página y ejecuté la aplicación de ejemplo SparkPi en YARN en modo hilo-clúster. http://spark.apache.org/docs/latest/running-on-yarn.html [http://spark.apache.org/docs/latest/running-on-yarn.html] No veo la salida del programa al ...
¿Cómo configurar los VCORES en hadoop mapreduce / yarn?
Los siguientes son mi configuración: **mapred-site.xml** map-mb : 4096 opts:-Xmx3072m reduce-mb : 8192 opts:-Xmx6144m **yarn-site.xml** resource memory-mb : 40GB min allocation-mb : 1GBlos Vcores en el clúster hadoop mostraban 8 GB, pero no sé ...
¿Algún comando para obtener el nombre de nodo activo para el servicio de nombres en hadoop?
El comando: hdfs haadmin -getServiceState machine-98Funciona solo si conoce el nombre de la máquina. ¿Hay algún comando como: hdfs haadmin -getServiceState <nameservice>que le puede decir la IP / nombre de host delactivonamenode?
Hadoop 2.6.0: error básico "al iniciar MRAppMaster" después de instalar
Acabo de comenzar a trabajar con Hadoop 2. Después de instalar con configuraciones básicas, siempre no puedo ejecutar ningún ejemplo. ¿Alguien ha visto este problema y por favor ayúdame? Y el error es algo como Error starting MRAppMaster ...