Результаты поиска по запросу "elastic-map-reduce"

2 ответа

Сбой сокращения из-за попытки задания не удалось сообщить о состоянии в течение 600 секунд. Убивать! Решение?

1 ответ

Где мой выход редуктора AWS EMR для моей законченной работы (должен быть на S3, но ничего там)?

У меня проблема с тем, что моя работа Hadoop в EMR AWS не сохраняется на S3. Когда я запускаю задание на меньшем образце, задание просто сохраняет результаты...

2 ответа

DynamoDB InputFormat для Hadoop

Я должен обработать некоторые данные, которые сохраняются в Amazon Dynamo DB, используя Hadoop Map Reduce.Я искал в интернете Hadoop InputFormat для DB Dynam...

ТОП публикаций

2 ответа

Сбой сокращения из-за попытки задания не удалось сообщить о состоянии в течение 600 секунд. Убивать! Решение?

Этап сокращения задания завершается неудачно с: Не удалось уменьшить задачи превысил допустимый предел.Причина, по которой каждая задача терпит неудачу: Задаче попытки_201301251556_1637_r_000005_0 не удалось сообщить о состоянии в течение 600 ...

4 ответа

Слишком много открытых файлов в EMR

Я получаю следующие исключения в моих редукторах:

1 ответ

hadoop конвертирует \ r \ n в \ n и нарушает формат ARC

Я пытаюсь проанализировать данные с commoncrawl.org с помощью потоковой передачи hadoop. Я настроил локальный hadoop для тестирования своего кода, и у меня есть простой Ruby Mapper, который использует потоковый читатель ARCfile. Когда я вызываю ...

1 ответ

Как установить точное максимальное число одновременно выполняемых задач на узел в Hadoop 2.4.0 на Elastic MapReduce

В соответствии сhttp://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/формула для определения количества одновременно за...

7 ответов

Планирование работы на AWS EC2

У меня есть веб-сайт, работающий на AWS EC2. Мне нужно создать ночную работу, которая генерирует файл карты сайта и загружает файлы в различные браузеры. Я ищу утилиту на AWS, которая позволяет эту функциональность. Я учел следующее: 1) Создайте ...

4 ответа

Слишком много открытых файлов в EMR

Я получаю следующие исключения в моих редукторах: EMFILE: Too many open files at org.apache.hadoop.io.nativeio.NativeIO.open(Native Method) at org.apache.hadoop.io.SecureIOUtils.createForWrite(SecureIOUtils.java:161) ...

2 ответа

Как указать сопоставленные конфигурации и параметры java с помощью пользовательского jar в CLI с помощью Amazon EMR?

Я хотел бы знать, как указать конфигурации mapreduce, такие как mapred.task.timeout, mapred.min.split.sizeи т.д., при запуске потокового задания с использованием пользовательского jar. Мы можем использовать следующий способ, чтобы указать эти ...