Estoy tratando de completar los valores faltantes en mi marco de datos de Spark con el valor anterior no nulo (si existe). He hecho este tipo de cosas en Python / Pandas pero mis datos son demasiado grandes para Pandas (en un grupo pequeño) y soy Spark noob. ¿Es esto algo que Spark puede hacer? ¿Puede hacerlo para múltiples columnas? ¿Si es así, cómo? Si no, ¿alguna sugerencia para enfoques alternativos dentro del conjunto de herramientas who Hadoop?

¡Gracias!