Как добавить файл конфигурации в classpath всех исполнителей Spark в Spark 1.2.0?

Я использую Typesafe Config,https://github.com/typesafehub/config, для параметризации задания Spark, работающего в режиме кластера пряжи, с помощью файла кон...

Spark Launcher бесконечно ждет завершения работы

Я пытаюсь отправить JAR с заданием Spark в кластер YARN из кода Java. Я использую SparkLauncher для отправки примера SparkPi:

Как бороться с задачами, выполняющимися слишком долго (по сравнению с другими в работе) в Yarn-клиенте?

«Плохая замена» при отправке искровой работы в пряжу-кластер

Я делаю тест дыма против кластера пряжи, используя

Как настроить Zeppelin для работы с удаленным кластером EMR Yarn

Как сохранить файлы журнала YARN?

Внезапно мой кластер YARN перестал работать, все, что я отправляю, завершается с ошибкой «Код выхода 1». Я хочу отследить эту проблему, но как только приложе...

Как создаются контейнеры на основе vcores и памяти в MapReduce2?

У меня есть крошечный кластер, состоящий из 1 главного (namenode, secondnamenode, resourcemanager) и 2 подчиненных (datanode, nodemanager).Я установил в yarn...

Команда оболочки YARN для получения количества контейнеров и ресурсов, используемых запущенными приложениями

Spark executor на yarn-client не принимает конфигурацию подсчета ядра исполнителя.

Почему Yarn на EMR не выделяет все узлы для выполнения заданий Spark?

Я работаю над Apache Spark на Amazon Elastic Map Reduce (EMR). В настоящее время я работаю на emr-4.1.0, который включает Amazon Hadoop 2.6.0 и Spark 1.5.0.К...