Перемещение Spark DataFrame из Python в Scala с помощью Zeppelin
Я создал искровой DataFrame в абзаце Python в Zeppelin.
sqlCtx = SQLContext(sc)
spDf = sqlCtx.createDataFrame(df)
а такжеdf
это пандас датафрейм
print(type(df))
<class 'pandas.core.frame.DataFrame'>
что я хочу сделать, это двигатьсяspDf
из одного абзаца Python в другой абзац Scala. Это выглядит разумно, используяz.put
.
z.put("spDf", spDf)
и я получил эту ошибку:
AttributeError: 'DataFrame' object has no attribute '_get_object_id'
Любое предложение, чтобы исправить ошибку? Или любое предложение переехатьspDf
?