erschieben von Spark DataFrame von Python nach Scala mit Zeppel
Ich habe einen Funken DataFrame in einem Python-Absatz in Zeppelin erstellt.
sqlCtx = SQLContext(sc)
spDf = sqlCtx.createDataFrame(df)
unddf
ist ein Pandas-Datenrahmen
print(type(df))
<class 'pandas.core.frame.DataFrame'>
was ich tun möchte, bewegt sichspDf
von einem Python-Absatz zu einem anderen Scala-Absatz. Es sieht nach einer vernünftigen Methode aus, @ zu verwendez.put
.
z.put("spDf", spDf)
und ich habe diesen Fehler bekommen:
AttributeError: 'DataFrame' object has no attribute '_get_object_id'
Irgendein Vorschlag, um den Fehler zu beheben? Oder irgendein Vorschlag, @ zu bewegspDf
?