Spark объединяет столбцы как вложенный массив

Как я могу объединить столбцы в искре как вложенный массив?

pyspark: создание столбца MapType из существующих столбцов

Мне нужно создать новый столбец Spark DF MapType на основе существующих столбцов, где имя столбца - это ключ, а значение - это значение.Как пример - у меня е...

Разделить содержимое столбца String в PySpark Dataframe

У меня есть фрейм данных Pyspark, в котором есть столбец, содержащий строки. Я хочу разбить этот столбец на словаКод:

Масштабирование каждого столбца кадра данных

Я пытаюсь масштабировать каждый столбец данных.Сначала я конвертирую каждый столбец в вектор, а затем использую мл MinMax Scaler.Есть ли лучший / более элега...

Почему число разделов после groupBy 200? Почему этот 200 не какой-то другой номер?

Почему приложение Spark терпит неудачу с «ClassNotFoundException: не удалось найти источник данных: kafka» как uber-jar со сборкой sbt?

Я пытаюсь запустить образец какhttps://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/sql/streaming/StructuredKafkaWor...

Spark Structured Streaming с использованием сокетов, установите SCHEMA, отобразите DATAFRAME в консоли

Spark SQL датированный в секундах

У меня есть следующий код:

передать пользовательский код выхода из режима искры кластера пряжи в CLI

Добавить нули к значению в PySpark