У меня установлена ​​IntelliJ IDEA с Apache Spark 1.4.

Я хочу иметь возможность добавлять точки отладки в мои скрипты Spark Python, чтобы их можно было легко отлаживать.

В настоящее время я запускаю этот бит Python для инициализации процесса зажигания

proc = subprocess.Popen([SPARK_SUBMIT_PATH, scriptFile, inputFile], shell=SHELL_OUTPUT, stdout=subprocess.PIPE)

if VERBOSE:
    print proc.stdout.read()
    print proc.stderr.read()

когдаspark-submit в конце концов звонитmyFirstSparkScript.pyрежим отладки не задействован и работает как обычно. К сожалению, редактирование исходного кода Apache Spark и запуск настраиваемой копии не является приемлемым решением.

Кто-нибудь знает, можно ли вызвать spark-submit вызвать скрипт Apache Spark в режиме отладки? Если так, то как?