с простым sql это невозможно

ел бы отсортировать DataFrame на основе столбца с моим собственным компаратором. Это можно сделать в Spark SQL?

Например, предположим, что у меня есть DataFrame, зарегистрированный как таблица «MyTable» со столбцом «Day», тип которого «string»:

id  | Day  
--------------------
1   | Fri           
2   | Mon           
3   | Sat           
4   | Sun           
5   | Thu           

И я хочу выполнить этот запрос:

SELECT * FROM MyTable ORDER BY Day

Я хотел бы заказать колонку «День» с моим собственным компаратором. Я думал об использовании UDF, но я не знаю, возможно ли это. Обратите внимание, что я действительно хочу использовать мой компаратор в операциях Sort / Order By. Я не хочу конвертировать String из столбца Day в Datetime или что-то подобное.

Ответы на вопрос(2)

Ваш ответ на вопрос