Я использую pyspark 1.5, получая данные из таблиц Hive, и пытаюсь использовать функции управления окнами.

В соответствии сэтот существует аналитическая функция под названиемfirstValue это даст мне первое ненулевое значение для данного окна. Я знаю, что это существует в Hive, но я нигде не могу найти это в pyspark.

Есть ли способ реализовать это, учитывая, что pyspark не позволяет UserDefinedAggregateFunctions (UDAF)?