Результаты поиска по запросу "elastic-map-reduce"
Сбой сокращения из-за попытки задания не удалось сообщить о состоянии в течение 600 секунд. Убивать! Решение?
Этап сокращения задания завершается неудачно с: Не удалось уменьшить задачи превысил допустимый предел.Причина, по которой каждая задача терпит неудачу: Задаче попытки_201301251556_1637_r_000005_0 не удалось сообщить о состоянии в течение 600 ...
Планирование работы на AWS EC2
У меня есть веб-сайт, работающий на AWS EC2. Мне нужно создать ночную работу, которая генерирует файл карты сайта и загружает файлы в различные браузеры. Я ищу утилиту на AWS, которая позволяет эту функциональность. Я учел следующее: 1) Создайте ...
Где мой выход редуктора AWS EMR для моей законченной работы (должен быть на S3, но ничего там)?
У меня проблема с тем, что моя работа Hadoop в EMR AWS не сохраняется на S3. Когда я запускаю задание на меньшем образце, задание просто сохраняет результаты...
Получение данных в и из Elastic MapReduce HDFS
Я написал программу Hadoop, которая требует определенной компоновки в HDFS, а затем мне нужно извлечь файлы из HDFS. Он работает на моей установке Hadoop с одним узлом, и мне не терпится заставить его работать с 10-ю узлами в ...
Почему Yarn на EMR не выделяет все узлы для выполнения заданий Spark?
Я работаю над Apache Spark на Amazon Elastic Map Reduce (EMR). В настоящее время я работаю на emr-4.1.0, который включает Amazon Hadoop 2.6.0 и Spark 1.5.0.К...
Получение «Нет места на устройстве» в течение ок. 10 ГБ данных по экземплярам EMR m1.large
Я получаю ошибкуНе осталось свободного места на устройстве" когда я запускаю свои задания Amazon EMR, используя m1.large в качестве типа экземпляра для ...
Как указать сопоставленные конфигурации и параметры java с помощью пользовательского jar в CLI с помощью Amazon EMR?
Я хотел бы знать, как указать конфигурации mapreduce, такие как mapred.task.timeout, mapred.min.split.sizeи т.д., при запуске потокового задания с использованием пользовательского jar. Мы можем использовать следующий способ, чтобы указать эти ...
Слишком много открытых файлов в EMR
Я получаю следующие исключения в моих редукторах: EMFILE: Too many open files at org.apache.hadoop.io.nativeio.NativeIO.open(Native Method) at org.apache.hadoop.io.SecureIOUtils.createForWrite(SecureIOUtils.java:161) ...
Получение «Нет места на устройстве» в течение ок. 10 ГБ данных по экземплярам EMR m1.large
Я получаю сообщение об ошибке «Нет свободного места на устройстве» при выполнении заданий Amazon EMR с использованием m1.large в качестве типа экземпляра для экземпляров hadoop, создаваемых потоком заданий. Работа генерирует ок. Максимум 10 ГБ ...
Установка параметров hadoop с помощью boto?
Я пытаюсь разрешить неправильный пропуск ввода в моих заданиях Amazon Elastic MapReduce. Я следую замечательному рецепту, описанному здесь: http://devblog.f...
Страница 1 из 2