Resultados de la búsqueda a petición "yarn"
Spark on YARN utiliza menos vcores
Estoy usando Spark en un clúster YARN (HDP 2.4) con la siguiente configuración: 1 Masternode64 GB de RAM (50 GB utilizables)24 núcleos (19 núcleos utilizables)5 esclavos64 GB de RAM (50 GB utilizables) cada uno24 núcleos (19 núcleos utilizables) ...
Ejecutar hilo con chispa no funciona con Java 8
Tengo un clúster con 1 maestro y 6 esclavos que usa la versión preconstruida de hadoop 2.6.0 y spark 1.6.2. Estaba ejecutando hadoop MR y trabajos sin problemas con openjdk 7 instalado en todos los nodos. Sin embargo, cuando actualicé openjdk 7 a ...
¿Cómo funciona Spark en YARN para el uso de memoria Python?
Después de leer la documentación, no entiendo cómo funciona Spark en YARN para el consumo de memoria de Python. ¿Cuenta paraspark.executor.memory, spark.executor.memoryOverhead ¿o donde? En particular, tengo una aplicación PySpark ...
¿Cómo limitar el número de reintentos en la falla del trabajo de Spark?
Estamos ejecutando un trabajo de Spark a través despark-submit, y puedo ver que el trabajo se volverá a enviar en caso de falla. ¿Cómo puedo evitar que tenga el intento n. ° 2 en caso de falla del contenedor de hilo o cualquiera que sea la ...
¿Cómo limitar la autoasignación dinámica de recursos en el clúster Hadoop bajo Yarn?
En nuestro clúster de Hadoop que se ejecuta bajo Yarn, tenemos el problema de que algunas personas "más inteligentes" pueden consumir grandes cantidades de recursos configurando trabajos de Spark en portátiles pySpark Jupyter como: conf = ...
Pase el código de salida personalizado desde la chispa del modo cluster de hilo a la CLI
Comencé un trabajo de chispa en modo cluster de hilo a través de spark-submit. Para indicar una falla parcial, etc. Quiero pasar el código de salida del controlador al script que llama a spark-submit. Probé ambos, System.exit y lancé ...
SPARK: YARN mata contenedores por exceder los límites de memoria
Actualmente nos encontramos con un problema en el que los trabajos de Spark ven que se eliminan varios contenedores por exceder los límites de memoria cuando se ejecutan en YARN. 16/11/18 17:58:52 WARN TaskSetManager: Lost task 53.0 in stage ...
Spark Hive que informa ClassNotFoundException: com.ibm.biginsights.bigsql.sync.BIEventListener
Estoy intentando ejecutar un script pyspark en BigInsights en Cloud 4.2 Enterprise que accede a una tabla de Hive. Primero creo la tabla de la colmena: [biadmin@bi4c-xxxxx-mastermanager ~]$ hive hive> CREATE TABLE pokes (foo INT, bar STRING); ...
Spark Hive que informa pyspark.sql.utils.AnalysisException: u'Table not found: XXX 'cuando se ejecuta en el cluster de hilo
Estoy intentando ejecutar un script pyspark en BigInsights en Cloud 4.2 Enterprise que accede a una tabla de Hive. Primero creo la tabla de la colmena: [biadmin@bi4c-xxxxx-mastermanager ~]$ hive hive> CREATE TABLE pokes (foo INT, bar STRING); ...
Cluster de hilo de chispa vs cliente: ¿cómo elegir cuál usar?
La chispadocs [https://spark.apache.org/docs/1.6.2/running-on-yarn.html#configuration]tiene el siguiente párrafo que desciende la diferencia entre cliente de hilo y grupo de hilos: Hay dos modos de implementación que se pueden usar para iniciar ...