Разделение на несколько столбцов в Spark SQL

С оконными функциями Spark SQL мне нужно разделить на несколько столбцов для выполнения моих запросов данных, как показано ниже:

val w = Window.partitionBy($"a").partitionBy($"b").rangeBetween(-100, 0)

В настоящее время у меня нет тестовой среды (работающей над настройками), но в качестве быстрого вопроса, это в настоящее время поддерживается как часть оконных функций Spark SQL, или это не будет работать?

Ответы на вопрос(1)

Решение Вопроса

Это не сработает. ВторойpartitionBy перезапишет первый. Оба столбца раздела должны быть указаны в одном вызове:

val w = Window.partitionBy($"a", $"b").rangeBetween(-100, 0)

Ваш ответ на вопрос