Как использовать постоянное значение в UDF Spark SQL (DataFrame)

У меня есть датафрейм, который включает в себя

Как изменить типы столбцов в DataFrame Spark SQL?

Как преобразовать объект rdd в dataframe в спарк

Как удалить столбцы в фрейме pyspark

Каков предпочтительный способ избежать SQL-инъекций в Spark-SQL (в Hive)

Apache Spark: соединение JDBC не работает

Я также задавал этот вопрос ранее, но не получил никакого ответа (Не удается подключиться к postgres с помощью jdbc в оболочке pyspark).Я успешно установил S...

java.sql.SQLException: не найден подходящий драйвер при загрузке DataFrame в Spark SQL

Я сталкиваюсь с очень странной проблемой при попытке загрузить JDBC DataFrame в Spark SQL.Я попробовал несколько кластеров Spark - YARN, автономный кластер и...

Как развернуть DataFrame?

Изменение формы / поворот данных в Spark RDD и / или Spark DataFrames

У меня есть некоторые данные в следующем формате (RDD или Spark DataFrame):

Вычисление длительности путем вычитания двух столбцов даты и времени в строковом формате

У меня есть Spark Dataframe, который состоит из ряда дат: