несколько условий для фильтрации в кадрах искровых данных

У меня есть фрейм данных с четырьмя полями. одним из названий полей является Status, и я пытаюсь использовать условие OR в .filter для фрейма данных. Я попро...

Соединение большого и огромного искрового кадра данных

Pyspark: прямая заливка с последним наблюдением для DataFrame

Используя Spark 1.5.1,Я пытался переслать заполнитьнулевые значения с последним известным наблюдением дляодин столбец моего DataFrame.Можно начать с нулевого...

spark: как сделать dropDuplicates на фрейме данных, сохраняя строку с самой высокой отметкой времени [duplicate]

На этот вопрос уже есть ответ здесь:Найти максимальный ряд на группу в Spark DataFrame 2 ответаУ меня есть случай использования, когда мне нужно было бы удал...

Как изменить Spark Dataframe со сложной вложенной структурой?

Как объединить два DataFrames в Scala и Apache Spark?

Как передать несколько операторов в Spark SQL HiveContext

Как позволить Spark анализировать поле String, экранированное JSON, как объект JSON, чтобы вывести правильную структуру в DataFrames?

Получить список типов данных из схемы в Apache Spark

У меня есть следующий код в Spark-Python, чтобы получить список имен из схемы DataFrame, который работает нормально, но как я могу получить список типов данных?

Как взорвать колонны?

После: