Результаты поиска по запросу "elastic-map-reduce"
Где мой выход редуктора AWS EMR для моей законченной работы (должен быть на S3, но ничего там)?
У меня проблема с тем, что моя работа Hadoop в EMR AWS не сохраняется на S3. Когда я запускаю задание на меньшем образце, задание просто сохраняет результаты...
Установка параметров hadoop с помощью boto?
Я пытаюсь разрешить неправильный пропуск ввода в моих заданиях Amazon Elastic MapReduce. Я следую замечательному рецепту, описанному здесь: http://devblog.f...
Получение «Нет места на устройстве» в течение ок. 10 ГБ данных по экземплярам EMR m1.large
Я получаю ошибкуНе осталось свободного места на устройстве" когда я запускаю свои задания Amazon EMR, используя m1.large в качестве типа экземпляра для ...
Как установить точное максимальное число одновременно выполняемых задач на узел в Hadoop 2.4.0 на Elastic MapReduce
В соответствии сhttp://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/формула для определения количества одновременно за...
Почему Yarn на EMR не выделяет все узлы для выполнения заданий Spark?
Я работаю над Apache Spark на Amazon Elastic Map Reduce (EMR). В настоящее время я работаю на emr-4.1.0, который включает Amazon Hadoop 2.6.0 и Spark 1.5.0.К...
hadoop конвертирует \ r \ n в \ n и нарушает формат ARC
Я пытаюсь проанализировать данные с commoncrawl.org с помощью потоковой передачи hadoop. Я настроил локальный hadoop для тестирования своего кода, и у меня есть простой Ruby Mapper, который использует потоковый читатель ARCfile. Когда я вызываю ...
Получение «Нет места на устройстве» в течение ок. 10 ГБ данных по экземплярам EMR m1.large
Я получаю сообщение об ошибке «Нет свободного места на устройстве» при выполнении заданий Amazon EMR с использованием m1.large в качестве типа экземпляра для экземпляров hadoop, создаваемых потоком заданий. Работа генерирует ок. Максимум 10 ГБ ...
Ошибка: java.io.IOException: неправильное значение класса: класс org.apache.hadoop.io.Text не является классом Myclass
У меня есть мой картер и редукторы следующим образом. Но я получаю какое-то странное исключение. Я не могу понять, почему это вызывает такое исключение. public static class MyMapper implements Mapper<LongWritable, Text, Text, Info> { @Override ...
Страница 1 из 2