Перемещение Spark DataFrame из Python в Scala с помощью Zeppelin

Я создал искровой DataFrame в абзаце Python в Zeppelin.

sqlCtx = SQLContext(sc)
spDf = sqlCtx.createDataFrame(df)

а такжеdf это пандас датафрейм

print(type(df))
<class 'pandas.core.frame.DataFrame'>

что я хочу сделать, это двигатьсяspDf из одного абзаца Python в другой абзац Scala. Это выглядит разумно, используяz.put.

z.put("spDf", spDf)

и я получил эту ошибку:

AttributeError: 'DataFrame' object has no attribute '_get_object_id'

Любое предложение, чтобы исправить ошибку? Или любое предложение переехатьspDf?

Ответы на вопрос(1)

Ваш ответ на вопрос