Resultados de la búsqueda a petición "yarn"
¿Cómo analizar archivos PDF en el mapa reducir programas?
Quiero analizar archivos PDF en mi programa hadoop 2.2.0 y encontréesta, seguí lo que dice y hasta ahora, tengo estas tres clases:
¿Cómo cambiar la configuración del planificador de hilo en aws EMR?
A diferencia de HortonWorks o Cloudera, AWS EMR no parece proporcionar ninguna GUI para cambiar las configuraciones xml de varios marcos de ecosistemas hadoop. Iniciar sesión en mi nombre de nodo EMR y hacer un rápido find \ -iname ...
Spark on YARN utiliza menos vcores
Estoy usando Spark en un clúster YARN (HDP 2.4) con la siguiente configuración: 1 Masternode64 GB de RAM (50 GB utilizables)24 núcleos (19 núcleos utilizables)5 esclavos64 GB de RAM (50 GB utilizables) cada uno24 núcleos (19 núcleos utilizables) ...
GCP Dataproc: configure el planificador justo de YARN
Estaba tratando de configurar un clúster de procesamiento de datos que computaría solo un trabajo (o trabajos máximos especificados) a la vez y el resto estaría en la cola. He encontrado esta solución¿Cómo configurar la cola de aplicaciones ...
Las tablas de la colmena no se encuentran cuando se ejecuta en modo YARN-Cluster
Tengo una aplicación Spark (versión 1.4.1) en HDP 2.3. Funciona bien cuando se ejecuta en modo YARN-Client. Sin embargo, cuando se ejecuta en modo YARN-Cluster, la aplicación no puede encontrar ninguna de mis tablas de Hive. Presento la ...
Hadoop 2 IOException solo cuando se intenta abrir supuestos archivos de caché
He actualizado recientemente a hadoop 2.2 (usando este tutorialaquí).Mi clase de trabajo principal se ve así, y lanza una excepción IOException:
Enviar la aplicación de chispa como un trabajo de hilo desde Eclipse y Spark Context
Ya puedo enviarlocal trabajos de chispa (escritos en Scala) desde mi IDE de Eclipse. Sin embargo, me gustaría modificar mi contexto de Spark (dentro de mi aplicación) para que cuando 'Ejecute' la aplicación (dentro de Eclipse), el trabajo se ...
solo se pudo replicar en 0 nodos en lugar de minReplication (= 1). Hay 4 datanode (s) en ejecución y no se excluyen ningún nodo (s) en esta operación
No sé cómo solucionar este error: Vertex failed, vertexName=initialmap, vertexId=vertex_1449805139484_0001_1_00, diagnostics=[Task failed, ...
HILO: ¿Cuál es la diferencia entre el número de ejecutores y los núcleos de ejecutor en Spark?
Estoy aprendiendo Spark en AWS EMR. En el proceso, trato de entender la diferencia entre el número de ejecutores (- num-ejecutores) y los núcleos de ejecutores (- ejecutor-núcleos). ¿Alguien puede decirme aquí? Además, cuando intento enviar el ...
Límite de memoria de acción de shell Oozie
Tenemos un flujo de trabajo oozie con una acción de shell que necesita más memoria de la que Yarn asigna de forma predeterminada una tarea de mapa. ¿Cómo podemos darle más memoria? Hemos intentado agregar la siguiente configuración a la ...