Результаты поиска по запросу "mapreduce"
Как прервать работу MR внутри картографа (или редуктора)
Я попытался выбросить IOException в методе map, но работа MR не была остановлена. Работа будет остановлена после тонны IOException. Есть ли способ остановить всю работу, просто бросив исключение или несколько простых вызовов? Благодарю.
Чтобы можно было контролировать количество картографов, вы должны поместить n-файлы во входные каталоги и представить их в виде файлового формата ввода.
я есть вопрос о настройке внутреннего соединения Map / Side для нескольких картографов в Hadoop. Предположим, у меня есть два очень больших набора данных A и B, я использую один и тот же алгоритм разделения и сортировки, чтобы разбить их на более ...
Где находится исходный код для примеров Apache Hadoop
Может кто-нибудь, пожалуйста, направьте меня к исходному коду для примеров Apache Hadoop Yarn. Дистрибутив 2.2.0 поставляется с jar names hadoop-mapreduce-examples-2.2.0.jar. Я пытаюсь найти исходный код для примеров. Любой указатель будет ...
прежде чем выполнять свою функцию.
ли способ в монго для создания пользовательских функций Javascript. У меня есть несколько функций Map / Reduce на стороне клиента, которые я хотел бы использовать в других функциях MR. Например, несколько функций MR вычисляют все виды средних ...
org.apache.hadoop.mapreduce.counters.LimitExceededException: слишком много счетчиков: 121 max = 120
Я запускаю задание hadoop (из oozie), в котором мало счетчиков и много выходов. Я получаю сообщение об ошибке: org.apache.hadoop.mapreduce.counters.LimitExceededException: слишком много счетчиков: 121 max = 120 Затем я удалил весь код со ...
Именно то, что мне нужно! Thnx
ли способ генерировать перестановки с MapReduce? входной файл: 1 title1 2 title2 3 title3моя цель: 1,2 title1,title2 1,3 title1,title3 2,3 title2,title3
MapReduce - это абстрактный алгоритм, позволяющий разделить проблему, распределить ее и объединить результаты. Dremel, кажется, является специальным инструментом для запросов и анализа наборов данных.
e Dremel являетсяописано здесь [http://research.google.com/pubs/pub36632.html], В чем разница между Dremel и Mapreduce?
Метод hadoop для отправки вывода в несколько каталогов
мойMapReduce задание обрабатывает данные по датам и должно записывать вывод в определенную структуру папок. Текущее ожидание заключается в следующем: 2013 01 02 .. 2012 01 02 ..и т.п. В любое время я получаю только до 12 месяцев данных, поэтому ...
Не удается инициализировать кластер. Пожалуйста, проверьте свою конфигурацию для mapreduce.framework.name и соответствующих адресов сервера-отправка job2remoteClustr
Я недавно обновил свой кластер с Apache Hadoop1.0 до CDH4.4.0. У меня есть сервер weblogic на другом компьютере, с которого я отправляю задания на этот удаленный кластер через клиент mapreduce. Я все еще хочу использовать MR1, а не пряжу. Я ...
Ошибка нехватки памяти в фазе преобразования Mapreduce
Я получаю странные ошибки при запускеWordCount типапрограмма mapreduce. У меня есть кластер Hadoop с 20 рабами, каждый из которых имеет 4 ГБ оперативной памяти. Я настроил задачи карты на 300 МБ, а слоты уменьшенных задач - 1 ГБ. У меня есть 2 ...