Результаты поиска по запросу "apache-spark"

1 ответ

Spark executor на yarn-client не принимает конфигурацию подсчета ядра исполнителя.

2 ответа

Использование Spark для записи файла паркета в s3 поверх s3a очень медленное

1 ответ

Генерация кода на всех этапах в Spark 2.0

Я слышал о

ТОП публикаций

2 ответа

 вместо.

я есть фрейм данных с файлом паркета, и я должен добавить новый столбец с некоторыми случайными данными, но мне нужны эти случайные данные, отличающиеся друг...

2 ответа

Spark. Какой тип экземпляра предпочтителен для кластера AWS EMR? [закрыто]

Я использую некоторые алгоритмы машинного обучения на кластере EMR Spark. Мне интересно, какой тип экземпляра использовать, чтобы я мог получить оптимальное ...

1 ответ

 на

я создаю банку своего приложения Spark и пытаюсь запустить его, используяspark-submitЯ получаю следующую ошибку. Это команда, которую я использовал для запуска. spark-submit --executor-memory 1g ...

1 ответ

спасибо @ user6910411

я есть дата столбец в моем SparkDataDrame который содержит несколько форматов строк. Я хотел бы привести их к DateTime. Два формата в моей колонке: mm/dd/yyyy; а такжеyyyy-mm-ddМое решение до сих пор состоит в том, чтобы использовать UDF для ...

1 ответ

Я хочу рассчитать разницу суммы за любые два месяца из таблицы.

дал фрейм данных в Spark по группам column1 и дате и рассчитал сумму. val table = df1.groupBy($"column1",$"date").sum("amount") Column1 |Date |Amount A |1-jul |1000 A |1-june |2000 A |1-May |2000 A |1-dec |3000 A |1-Nov |2000 B |1-jul |100 B ...

2 ответа

 Модификация POM.xml помогла мне.

ользую HDP-2.6.3.0 с пакетом Spark2 2.2.0. Я пытаюсь написать потребителя Kafka, используя API-интерфейс Structured Streaming, но получаю следующую ошибку после отправки задания в кластер: Exception in thread "main" ...

2 ответа

Сколько разделов создает Spark, когда файл загружается из корзины S3?

Если файл загружен из HDFS по умолчанию, spark создает один раздел на блок. Но как спарк определяет разделы, когда файл загружается из корзины S3?