¿Cómo usar Scala y Python en un mismo proyecto Spark?

¿Es eso posible canalizar?Spark RDD a Python?

Porque necesito una biblioteca de Python para hacer algunos cálculos en mis datos, pero mi proyecto principal de Spark se basa en Scala. ¿Hay alguna manera de mezclarlos a ambos o dejar que Python acceda al mismo contexto de chispa?

Respuestas a la pregunta(3)

Su respuesta a la pregunta