Результаты поиска по запросу "amazon-emr"

2 ответа

YUM_RSRC_DIR предназначен для указания места, где вы настраиваете входные файлы, необходимые для запуска сценариев. Смотрите шаг 4, он описывает шаблон каталога для файлов ресурсов.

я есть необходимость запустить приложение, которое требует графический интерфейс для запуска и настройки. Мне также нужно иметь возможность запускать это приложение на сервисах Amazon EC2 и EMR. Требование EMR означает, что он должен работать на ...

2 ответа

Как MapReduce читает из нескольких входных файлов?

Я разрабатываю код для чтения данных и записи вHDFS с помощьюmapreduce, Однако, когда у меня есть несколько файлов, я не понимаю, как это обрабатывается. Входной путь к мапперу - это имя каталога, как видно из вывода String filename = ...

1 ответ

) полностью пропустив все промежуточные этапы.

я есть EMR-кластер на одной машине c3.8xlarge. После прочтения нескольких ресурсов я понял, что мне нужно разрешить приличный объем памяти вне кучи, потому что я использую pyspark, поэтому я настроил кластер следующим образом: Один ...

ТОП публикаций

6 ответов

https://github.com/minrk/findspark

ользую spark over emr и пишу скрипт pyspark, я получаю сообщение об ошибке при попытке from pyspark import SparkContext sc = SparkContext()это ошибка File "pyex.py", line 5, in <module> sc = SparkContext() ...

1 ответ

, И я могу найти его без тегов, а затем применить теги для дальнейшего использования. Спасибо!

у автоматизировать работу кластера и могу использовать теги для получения атрибутов экземпляра EC2, таких как его идентификатор экземпляра. Документация ...

2 ответа

Показано, что число данных в кадре равно 4067

ботаем спарк 2.3.0 наAWW EMR, ПоследующийDataFrame "df"не пустой и скромного размера: scala> df.count res0: Long = 4067Следующий код хорошо работает для записиdf вhdfs: scala> val hdf = spark.read.parquet("/tmp/topVendors") ...

2 ответа

UDF Pig работает в AWS EMR с java.lang.NoClassDefFoundError: org / apache / pig / LoadFunc

5 ответов

Папка не удаляется на Amazon S3

Я пытаюсь удалить папку, созданную в результате задания MapReduce. Другие файлы в корзине удаляются просто отлично, но эта папка не удаляется. Когда я пытаюсь удалить его из консоли, индикатор выполнения рядом с его статусом просто остается ...

3 ответа

Работа с большим сжатым файлом в Spark

2 ответа

Можем ли мы добавить больше экземпляров Amazon Elastic Mapreduce в существующие экземпляры Amazon Elastic Mapreduce?

Я новичок в Amazon Services и сталкиваюсь с некоторыми проблемами. Предположим, я выполняю некоторый поток работ на Amazon Elastic Mapreduce с общим количес...