Movendo o Spark DataFrame de Python para Scala com o Zeppelin
Eu criei um Spark DataFrame em um parágrafo Python no Zeppelin.
sqlCtx = SQLContext(sc)
spDf = sqlCtx.createDataFrame(df)
edf é um dataframe de pandas
print(type(df))
<class 'pandas.core.frame.DataFrame'>
o que eu quero fazer é mudarspDf de um parágrafo Python para outro parágrafo Scala. Parece que uma maneira razoável de fazer é usarz.put.
z.put("spDf", spDf)
e eu recebi este erro:
AttributeError: 'DataFrame' object has no attribute '_get_object_id'
Alguma sugestão para corrigir o erro? Ou qualquer sugestão para mudarspDf?