Можно ли масштабировать данные по группам в Spark?

Я хочу масштабировать данные с

Работа с jdbc jar в pyspark

Работает ли спарк-стриминг с «cp» и «mv»

Какой самый эффективный способ сделать отсортированное сокращение в PySpark?

Я анализирую своевременные отчеты об эффективности внутренних рейсов США с 2015 года. Мне нужно сгруппировать по номеру хвоста и сохранить отсортированный по...

Разве FlatMap в искре вызывает случайное перемешивание?

Работает ли flatMap в spark как функция карты и, следовательно, не вызывает перетасовки, или это вызывает перестановку. Я подозреваю, что это вызывает перета...

Фильтрация строк по значениям столбцов в Scala

У меня есть датафрейм (искра):

Найти минимум для отметки времени через группу данных SparkBy

Когда я пытаюсь сгруппировать мой фрейм данных по столбцу, тогда пытаюсь найти минимум для каждой группировки

Как выбрать подмножество полей из столбца массива в Spark?

IllegalAccessError для StopWatch гуавы из org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus

Я пытаюсь запустить небольшое искровое приложение и получаю следующее исключение:

Зарегистрируйте UDF в SqlContext из Scala для использования в PySpark