Beim Versuch, eine SparkDF (Test) anzuzeigen, erhalte ich einen KeyError (siehe unten). Wahrscheinlich stimmt etwas mit der Funktion nicht, die ich zuvor verwendet habeTest.show(3).

Der KeyError sagt: KeyError: 'SPARK_HOME'. Ich gehe davon aus, dass SPARK_HOME für den Master und / oder die Worker nicht definiert ist. Gibt es eine Möglichkeit, das SPARK_HOME-Verzeichnis für beide automatisch anzugeben? Vorzugsweise mit einer Initialisierungsaktion.

Py4JJavaErrorTraceback (letzter Aufruf zuletzt) in () ----> 1 Test.show (3)

/usr/lib/spark/python/pyspark/sql/dataframe.py in show(self, n, truncate)
    255         +---+-----+
    256         """
--> 257         print(self._jdf.showString(n, truncate))
    258 
    259     def __repr__(self):

...

    raise KeyError(key)
KeyError: 'SPARK_HOME'