erschieben von Spark DataFrame von Python nach Scala mit Zeppel

Ich habe einen Funken DataFrame in einem Python-Absatz in Zeppelin erstellt.

sqlCtx = SQLContext(sc)
spDf = sqlCtx.createDataFrame(df)

unddf ist ein Pandas-Datenrahmen

print(type(df))
<class 'pandas.core.frame.DataFrame'>

was ich tun möchte, bewegt sichspDf von einem Python-Absatz zu einem anderen Scala-Absatz. Es sieht nach einer vernünftigen Methode aus, @ zu verwendez.put.

z.put("spDf", spDf)

und ich habe diesen Fehler bekommen:

AttributeError: 'DataFrame' object has no attribute '_get_object_id'

Irgendein Vorschlag, um den Fehler zu beheben? Oder irgendein Vorschlag, @ zu bewegspDf?

Antworten auf die Frage(2)

Ihre Antwort auf die Frage