Результаты поиска по запросу "amazon-emr"

2 ответа

UDF Pig работает в AWS EMR с java.lang.NoClassDefFoundError: org / apache / pig / LoadFunc

4 ответа

ошибка авро на AWS EMR

1 ответ

Amazon MapReduce лучшие практики для анализа журналов

Я анализирую журналы доступа, сгенерированные Apache, Nginx, Darwin (сервер потокового видео) и собираю статистику для каждого доставленного файла по дате / рефереру / пользователю. Тонны журналов генерируются каждый час, и это число, вероятно, ...

ТОП публикаций

1 ответ

AWS EMR Parallel Mappers?

Я пытаюсь определить, сколько узлов мне нужно для моего кластера EMR. В рамках передового опыта рекомендации:(Всего картографов, необходимых для вашей работы...

2 ответа

Запуск EMR Spark с несколькими учетными записями S3

0 ответов

Тогда все просто работает. Вам не нужно (а может и не нужно) менять

аюсь поиграть с набором данных Google Ngrams, используя Amazon Elastic Map Reduce. Есть публичный набор данных на http://aws.amazon.com/datasets/8172056142375670 [http://aws.amazon.com/datasets/8172056142375670]и я хочу использовать ...

6 ответов

https://github.com/minrk/findspark

ользую spark over emr и пишу скрипт pyspark, я получаю сообщение об ошибке при попытке from pyspark import SparkContext sc = SparkContext()это ошибка File "pyex.py", line 5, in <module> sc = SparkContext() ...

2 ответа

Повышение spark.yarn.executor.memoryOverhead

Я пытаюсь запустить (py) Spark для EMR, которая обработает большой объем данных. В настоящее время моя работа не выполняется со следующим сообщением об ошибке:

2 ответа

Надеюсь, что это может помочь вам.

аюсь выполнить 2 шага одновременно в EMR. Однако я всегда выполняю первый шаг и второй ожидающий. Часть моей конфигурации пряжи выглядит следующим образом: { "Classification": "capacity-scheduler", "Properties": ...

2 ответа

Как MapReduce читает из нескольких входных файлов?