PySpark: вычислить максимум строки подмножества столбцов и добавить к существующему фрейму данных

Я хотел бы вычислить максимум поднабора столбцов для каждой строки и добавить его в качестве нового столбца для существующего

Применить функцию к одному столбцу CSV в Spark

Используя Spark, я читаю CSV и хочу применить функцию к столбцу в CSV. У меня есть код, который работает, но он очень хакерский. Как правильно это сделать?Мо...

Не удалось преобразовать тип <class 'pyspark.ml.linalg.SparseVector'> в вектор

Учитывая мой pyspark Row объект:

Как добавить в CSV-файл, используя df.write.csv в pyspark?

Я пытаюсь добавить данные в мой CSV-файл с помощью

Разделить содержимое столбца String в PySpark Dataframe

У меня есть фрейм данных Pyspark, в котором есть столбец, содержащий строки. Я хочу разбить этот столбец на словаКод:

pyspark: создание столбца MapType из существующих столбцов

Мне нужно создать новый столбец Spark DF MapType на основе существующих столбцов, где имя столбца - это ключ, а значение - это значение.Как пример - у меня е...

Добавить нули к значению в PySpark

Spark Structured Streaming с использованием сокетов, установите SCHEMA, отобразите DATAFRAME в консоли

Сериализация пользовательского преобразователя с использованием Python для использования в конвейере Pyspark ML

Я нашел такое же обсуждение в разделе комментариевСоздайте собственный Трансформер в PySpark ML, но нет четкого ответа. Существует также неразрешенная JIRA, ...

Вот версия Pyspark

ли эквивалент функции плавления панд в Apache Spark в PySpark или хотя бы в Scala?Я до сих пор выполнял образец набора данных в Python, и теперь я хочу испол...