Как эффективен способ разделения на столбцы, но с фиксированным количеством разделов?

Каков наилучший способ разбить данные по полю на предопределенное количество разделов?В настоящее время я делю данные, указав partionCount = 600. Найдено, чт...

Чтение нескольких файлов из S3 в Spark по периоду даты

ОписаниеУ меня есть приложение, которое отправляет данные в AWS Kinesis Firehose, и оно записывает данные в мое хранилище S3. Firehose использует формат «ггг...

Как сгладить структуру в кадре данных Spark?

У меня есть датафрейм со следующей структурой:

Прочитайте из таблицы улья и запишите обратно, используя spark sql

Я читаю таблицу Hive, используя Spark SQL, и назначаю ее для scala val

argmax в Spark DataFrames: как получить строку с максимальным значением

Учитывая Spark DataFrame

Влияние на производительность RDD API по сравнению с UDF, смешанными с DataFrame API

Искра - ВЫБЕРИТЕ ГДЕ или фильтруете?

В чем разница между выбором с предложением where и фильтрацией в Spark?Есть ли случаи использования, в которых один более подходит, чем другой?Когда я использую

Извлечение различных значений в столбце с использованием Spark DataFrame

При использовании версии Spark 1.6.1 мне нужно получить различные значения в столбце, а затем выполнить какое-то конкретное преобразование поверх него. Столб...

Почему SparkSession выполняется дважды за одно действие?

Недавно обновлен до Spark 2.0, и я вижу странное поведение при попытке создать простой набор данных из строк JSON. Вот простой тестовый пример:

Как преобразовать столбец массивов строк в строки?

У меня есть столбец, который имеет тип