Использование оконных функций в Spark

Я пытаюсь использовать rowNumber в кадрах данных Spark. Мои запросы работают как положено в оболочке Spark. Но когда я записываю их в затмении и собираю банк...

Как транспонировать датафрейм в Spark 1.5 (оператор разворота недоступен)?

Фильтрация строк по значениям столбцов в Scala

У меня есть датафрейм (искра):

Найти минимум для отметки времени через группу данных SparkBy

Когда я пытаюсь сгруппировать мой фрейм данных по столбцу, тогда пытаюсь найти минимум для каждой группировки

Spark Dataset API - присоединяйтесь

Как выбрать подмножество полей из столбца массива в Spark?

Spark Build Custom Column Function, определяемая пользователем функция

PySpark построчная композиция функций

В качестве упрощенного примера у меня есть фрейм данных "df" со столбцами "col1, col2", и я хочу вычислить построчный максимум после прим...

Как выполнить оператор Switch с Apache Spark Dataframes (Python)

Генерация Spark StructType / Schema из класса дел