Estou tentando preencher os valores ausentes no meu quadro de dados Spark com o valor não nulo anterior (se existir). Eu fiz esse tipo de coisa no Python / Pandas, mas meus dados são grandes demais para o Pandas (em um pequeno cluster) e eu sou o Spark noob. Isso é algo que o Spark pode fazer? Pode fazê-lo para várias colunas? Se sim, como? Caso contrário, alguma sugestão de abordagens alternativas no conjunto de ferramentas who Hadoop?

Obrigado!