Я пытаюсь заполнить пропущенные значения в моем фрейме данных Spark предыдущим ненулевым значением (если оно существует). Я делал подобные вещи в Python / Pandas, но мои данные слишком велики для Pandas (в маленьком кластере), и я Spark Noob. Спарк может это сделать? Это может сделать это для нескольких столбцов? Если да, то как? Если нет, то есть ли предложения по альтернативным подходам в наборе инструментов who Hadoop?

Спасибо!