Результаты поиска по запросу "amazon-emr"
YUM_RSRC_DIR предназначен для указания места, где вы настраиваете входные файлы, необходимые для запуска сценариев. Смотрите шаг 4, он описывает шаблон каталога для файлов ресурсов.
я есть необходимость запустить приложение, которое требует графический интерфейс для запуска и настройки. Мне также нужно иметь возможность запускать это приложение на сервисах Amazon EC2 и EMR. Требование EMR означает, что он должен работать на ...
Как MapReduce читает из нескольких входных файлов?
Я разрабатываю код для чтения данных и записи вHDFS с помощьюmapreduce, Однако, когда у меня есть несколько файлов, я не понимаю, как это обрабатывается. Входной путь к мапперу - это имя каталога, как видно из вывода String filename = ...
) полностью пропустив все промежуточные этапы.
я есть EMR-кластер на одной машине c3.8xlarge. После прочтения нескольких ресурсов я понял, что мне нужно разрешить приличный объем памяти вне кучи, потому что я использую pyspark, поэтому я настроил кластер следующим образом: Один ...
https://github.com/minrk/findspark
ользую spark over emr и пишу скрипт pyspark, я получаю сообщение об ошибке при попытке from pyspark import SparkContext sc = SparkContext()это ошибка File "pyex.py", line 5, in <module> sc = SparkContext() ...
, И я могу найти его без тегов, а затем применить теги для дальнейшего использования. Спасибо!
у автоматизировать работу кластера и могу использовать теги для получения атрибутов экземпляра EC2, таких как его идентификатор экземпляра. Документация ...
Показано, что число данных в кадре равно 4067
ботаем спарк 2.3.0 наAWW EMR, ПоследующийDataFrame "df"не пустой и скромного размера: scala> df.count res0: Long = 4067Следующий код хорошо работает для записиdf вhdfs: scala> val hdf = spark.read.parquet("/tmp/topVendors") ...
Папка не удаляется на Amazon S3
Я пытаюсь удалить папку, созданную в результате задания MapReduce. Другие файлы в корзине удаляются просто отлично, но эта папка не удаляется. Когда я пытаюсь удалить его из консоли, индикатор выполнения рядом с его статусом просто остается ...
Можем ли мы добавить больше экземпляров Amazon Elastic Mapreduce в существующие экземпляры Amazon Elastic Mapreduce?
Я новичок в Amazon Services и сталкиваюсь с некоторыми проблемами. Предположим, я выполняю некоторый поток работ на Amazon Elastic Mapreduce с общим количес...