Режим клиента может быть установлен в среде, как показано ниже

запускаемые мной искры не будут выполнены со следующим сообщением об ошибке

17.06.16 11:10:43 WARN cluster.YarnScheduler: Начальное задание не приняло никаких ресурсов; проверьте интерфейс вашего кластера, чтобы убедиться, что работники зарегистрированы и имеют достаточные ресурсы

Версия Spark 1.6, работает на Yarn.

Я выдаю работу из pyspark.

И вы можете заметить из графика работы, что он выполняется бесконечно, и никакие ресурсы не добавляются и не удаляются.1

Ответы на вопрос(1)

Ваш ответ на вопрос