Результаты поиска по запросу "mapreduce"
Из того, что я понимаю, прочитав выше, это зависит от входных файлов. Если входных файлов 100 означает - Hadoop создаст 100 задач карты. Тем не менее, это зависит от конфигурации узла на Сколько можно запустить в один момент времени. Если узел настроен для запуска 10 задач карты - только 10 задач карты будут выполняться параллельно, выбрав 10 различных входных файлов из 100 доступных. Задачи карты продолжат извлекать больше файлов по мере завершения обработки файла.
тоящее время я выполняю работу, я установил число задач карты на 20, но получаю большее число. Я также установил задачу уменьшения на ноль, но я все еще получаю число, отличное от нуля. Общее время выполнения задания MapReduce также ...
Спасибо, но я не могу поддержать, поскольку у меня все еще нет 15 репутации.
у напечатать каждый шаг моей «карты» после ее выполнения на консоли. Что-то вроде System.out.println («Завершен первый шаг»); System.out.println («Завершен второй шаг»); и так далее Есть ли специальная команда для этого или это вообще ...
«Выберите небольшой, произвольный кусок входного набора, примерно того же размера, что и количество доступных машин ... Мы собираемся использовать их как целую кучу опорных точек». Это прямо говорит об обратном. В любом случае, как ваше "среднее ведро" знает, что это среднее ведро?
твует ли быстрый алгоритм для запуска на платформе MapReduce, чтобы найти медиану из огромного набора целых чисел?
Jad-файлы Hadoop 2.0
Я получаю неожиданную ошибку при попытке создать экземплярConfiguration объект в моей программе Map / Reduce. Ошибка заключается в следующем: java.lang.NoClassDefFoundError: org / apache / commons / logging / LogFactory Я использую Hadoop ...
Да, я склоняюсь к этому, по крайней мере сейчас. Большое спасибо за ответ.
сновном я пытаюсь упорядочить объекты по их количеству за последний час. Я пытаюсь сгенерировать почасовую сумму голосов для объектов в моей базе данных. Голоса встроены в каждый объект. Схема объекта выглядит следующим образом: { _id: ObjectId ...
Ошибка в Hadoop MapReduce
Когда я запускаю программу mapreduce с использованием Hadoop, я получаю следующую ошибку. 10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED java.io.IOException: Task process exit with ...
Спасибо за ваш ответ! Поскольку ответ @JasonSmith был более подробным, я решил пометить его ответ как ответ, но мне тоже понравился ваш ответ!
тоящее время я пытаюсь упорядочить и отсортировать по ключу с тремя значениями. Но давайте начнем со структуры документа: { _id: "DOCIDGOESHERE01", type: "MESSAGE", date: "2011-08-24 06:49:02", author: "USERIDGOESHERE01", receiver: ...
Hadoop Map Reduce For Google веб-график
В качестве задания нам была дана задача создания функций уменьшения карты, которые будут выводить для каждого узла n в списке веб-графиков Google список узлов, которые можно перейти с узла n за 3 прыжка. (Фактические данные можно найти ...
Как определить MapReduce, сколько картографов использовать?
Я пытаюсь ускорить оптимизацию работы MapReduce. Есть ли способ, которым я могу сказать hadoop использовать определенное количество процессов картографирования / редуктора? Или, по крайней мере, минимальное количество процессов ...
Выделите более чем одно поле, используя уменьшенную карту MongoDB
Я хочу выполнить эту инструкцию SQL на MongoDB: SELECT DISTINCT book,author from libraryПока DISTINCT от MongoDB поддерживает только одно поле за раз. Для более чем одного поля мы должны использовать команду GROUP или map-Reduce. Я нашел способ ...