Mover Spark DataFrame de Python a Scala con Zeppelin

Creé un DataFrame de chispa en un párrafo de Python en Zeppelin.

sqlCtx = SQLContext(sc)
spDf = sqlCtx.createDataFrame(df)

ydf es un marco de datos de pandas

print(type(df))
<class 'pandas.core.frame.DataFrame'>

lo que quiero hacer es mudarmespDf de un párrafo de Python a otro párrafo de Scala. Parece una forma razonable de hacerlo es usarz.put.

z.put("spDf", spDf)

y recibí este error:

AttributeError: 'DataFrame' object has no attribute '_get_object_id'

¿Alguna sugerencia para corregir el error? O cualquier sugerencia para mudarsespDf?