Фильтрация искрового кадра данных по дате

У меня есть датафрейм

Как определить и использовать пользовательскую статистическую функцию в Spark SQL?

Я знаю, как написать UDF в Spark SQL:

Как читать и писать несколько таблиц параллельно в Spark?

Удалить искровой фрейм данных из кеша

Я использую Spark 1.3.0 с Python API. Преобразуя огромные кадры данных, я кэширую много DF для более быстрого выполнения;

как изменить столбец Dataframe с типа String на тип Double в pyspark

У меня есть датафрейм с колонкой как String. Я хотел изменить тип столбца на тип Double в PySpark.Вот как я это сделал:

SparkSQL: как работать с нулевыми значениями в пользовательской функции?

Приведена таблица 1 с одним столбцом «x» типа String. Я хочу создать таблицу 2 со столбцом "у", который является целочисленным представлением строк...

Каким должно быть оптимальное значение для spark.sql.shuffle.partitions или как мы увеличиваем разделы при использовании Spark SQL?

Привет я использую Spark SQL на самом деле

Удалить временные таблицы из Apache SQL Spark

Spark и SparkSQL: как имитировать оконную функцию?

ОписаниеУчитывая данные кадра

Преобразование даты рождения в возраст в API Spark Dataframe

Это кажется простым, но я не мог найти ответ. Я пытаюсь преобразовать столбец даты рождения в указанном ниже формате даты в формат даты в API Spark Dataframe...