Resultados de la búsqueda a petición "yarn"
¿Cómo cambiar la configuración del planificador de hilo en aws EMR?
A diferencia de HortonWorks o Cloudera, AWS EMR no parece proporcionar ninguna GUI para cambiar las configuraciones xml de varios marcos de ecosistemas hadoop. Iniciar sesión en mi nombre de nodo EMR y hacer un rápido find \ -iname ...
¿Por qué mi pyspark simplemente se cuelga como ACEPTADO en hilo cuando lo lanzo?
Acabo de girar un nuevoAWS instancia enLinux. E instalépyspark en eso. Tienespark 1.6. Estoy corriendopyspark conyarn. Cuando hago el comandopyspark en la terminal, se inicia inicialmente, pero luego recibo el mensaje: dd/mm/YY HH:MM:SS INFO ...
WARN cluster.YarnScheduler: el trabajo inicial no ha aceptado ningún recurso
Cualquier trabajo de chispa que ejecute fallará con el siguiente mensaje de error 17/06/16 11:10:43 WARN cluster.YarnScheduler: El trabajo inicial no ha aceptado ningún recurso; verifique la interfaz de usuario de su clúster para asegurarse de ...
Ejecutar zeppelin en modo de grupo de chispas
Estoy usando este tutorialgrupo de chispas en modo hilo en contenedor acoplable [https://zeppelin.apache.org/docs/0.7.0/install/spark_cluster_mode.html#spark-on-yarn-mode] para lanzar zeppelin en el grupo de chispas en modo hilo. Sin embargo, ...
Hadoop 2.2.0 jobtracker no se inicia
Parece que no tengojobtracker con Hadoop 2.2.0. JPS no lo muestra, no hay nadie escuchando en el puerto 50030, y no hay registros sobre eljobtracker dentro delogs carpeta. ¿Esto es por HILO? ¿Cómo puedo configurar e iniciar el rastreador de trabajos?
Acceda a un Hive seguro cuando ejecute Spark en un clúster YARN no seguro
Tenemos dos clústeres de cloudera 5.7.1, uno protegido con Kerberos y otro no seguro. ¿Es posible ejecutar Spark utilizando el clúster YARN no seguro mientras se accede a las tablas de la colmena almacenadas en el clúster seguro? (La versión de ...
¿Por qué el tamaño del contenedor flink vcore es siempre 1?
Estoy ejecutando flink en hilo (más precisamente en el grupo de hilos AWS EMR). Leí el documento de Flink y el código fuente que, por defecto, para cada contenedor del administrador de tareas, flink solicitará el número de ranuras por ...
Error al ejecutar Mapreduce (hilo) desde el eclipse de Windows
Estoy ejecutando un programa WordCount desde mi eclipse. Intenté con Hadoop1.x está funcionando bien. Enfrentando un problema mientras se ejecuta en hadoop2.x intenté 1) agregué todo xml a mi classpath. 2) también probé conf.set ...
¿Cuál es la relación entre 'mapreduce.map.memory.mb' y 'mapred.map.child.java.opts' en Apache Hadoop YARN?
Me gustaría saber la relación entremapreduce.map.memory.mb ymapred.map.child.java.opts parámetros Esmapreduce.map.memory.mb > mapred.map.child.java.opts? Gracias Kewal.
Límite de memoria de acción de shell Oozie
Tenemos un flujo de trabajo oozie con una acción de shell que necesita más memoria de la que Yarn asigna de forma predeterminada una tarea de mapa. ¿Cómo podemos darle más memoria? Hemos intentado agregar la siguiente configuración a la ...