Resultados de la búsqueda a petición "spark-submit"
Spark controlador de conexión independiente al trabajador
Estoy tratando de alojar localmente un clúster independiente de chispa. Tengo dos máquinas heterogéneas conectadas en una LAN. Cada pieza de la arquitectura que se enumera a continuación se ejecuta en Docker. Tengo la ...
Agregar frascos a un trabajo Spark - spark-submit
Es cierto ... se ha discutido bastante. Sin embargo, hay mucha ambigüedad y algunas de las respuestas proporcionadas ... incluida la duplicación de referencias jar en la configuración u opciones de jar / ejecutor / controlador. Los detalles ...
El trabajo asíncrono de chispa falla con un error
Estoy escribiendo código para spark en java. Cuando usoforeachAsync chispa falla y me dajava.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. En este código: JavaSparkContext sparkContext = new ...
Copie archivos (config) de HDFS al directorio de trabajo local de cada ejecutor de chispa
Estoy buscando cómo copiar una carpeta con archivos de dependencias de recursos de HDFS a un directorio de trabajo local de cada ejecutor de chispa usando Java. Al principio estaba pensando en usar la opción --files FILES de spark-submit pero ...
Cómo guardar un archivo en el clúster
Estoy conectado al clúster usandossh y envío el programa al clúster usando spark-submit --master yarn myProgram.pyQuiero guardar el resultado en un archivo de texto e intenté usar las siguientes ...