AWS EMR выполняет сценарий «начальной загрузки» на всех уже работающих машинах в кластере

У меня есть один кластер EMR, который работает 24/7. Я не могу выключить его и запустить новый.Я хотел бы выполнить что-то вроде начальной загрузки на уже ра...

Отчет о применении для application_ (состояние: ПРИНЯТО) никогда не заканчивается для Spark Submit (с Spark 1.2.0 на YARN)

ошибка авро на AWS EMR

Почему Yarn на EMR не выделяет все узлы для выполнения заданий Spark?

Я работаю над Apache Spark на Amazon Elastic Map Reduce (EMR). В настоящее время я работаю на emr-4.1.0, который включает Amazon Hadoop 2.6.0 и Spark 1.5.0.К...

Повышение spark.yarn.executor.memoryOverhead

Я пытаюсь запустить (py) Spark для EMR, которая обработает большой объем данных. В настоящее время моя работа не выполняется со следующим сообщением об ошибке:

Spark SQL не работает, потому что «Пул констант превысил предел JVM, равный 0xFFFF»

Я запускаю этот код на EMR 4.6.0 + Spark 1.6.1:

Запуск EMR Spark с несколькими учетными записями S3

Работа с большим сжатым файлом в Spark

Как избежать чтения старых файлов из S3 при добавлении новых данных?

Раз в 2 часа запускается работа spark для преобразования некоторых файлов tgz в паркет. Задание добавляет новые данные в существующий паркет в s3:

AWS EMR Parallel Mappers?

Я пытаюсь определить, сколько узлов мне нужно для моего кластера EMR. В рамках передового опыта рекомендации:(Всего картографов, необходимых для вашей работы...