Ich habe IntelliJ IDEA mit Apache Spark 1.4 eingerichtet.

Ich möchte in der Lage sein, meinen Spark Python-Skripten Debug-Punkte hinzuzufügen, damit ich sie leicht debuggen kann.

Ich starte gerade dieses Python-Bit, um den Funkenprozess zu initialisieren.

proc = subprocess.Popen([SPARK_SUBMIT_PATH, scriptFile, inputFile], shell=SHELL_OUTPUT, stdout=subprocess.PIPE)

if VERBOSE:
    print proc.stdout.read()
    print proc.stderr.read()

Wannspark-submit ruft schließlichmyFirstSparkScript.py, der Debug-Modus ist nicht aktiviert und wird normal ausgeführt. Leider ist das Bearbeiten des Apache Spark-Quellcodes und das Ausführen einer angepassten Kopie keine akzeptable Lösung.

Weiß jemand, ob es möglich ist, das Apache Spark-Skript im Debug-Modus per Spark-Submit aufzurufen? Wenn das so ist, wie