Результаты поиска по запросу "mapreduce"
Hadoop - требуется помощь для понимания шагов обработки
У меня есть сжатый файл, и он содержит 8 файлов XML размером 5-10 КБ. Я взял эти данные для тестирования. Я написал одну программу только для карт, чтобы рас...
Как создаются контейнеры на основе vcores и памяти в MapReduce2?
У меня есть крошечный кластер, состоящий из 1 главного (namenode, secondnamenode, resourcemanager) и 2 подчиненных (datanode, nodemanager).Я установил в yarn...
Как hadoop решает, сколько узлов будет отображать и сокращать задачи
Я новичок в hadoop и пытаюсь это понять. Я говорю о hadoop 2. Когда у меня есть входной файл, который я хочу сделать MapReduce, в программе MapReduce я говор...
Внедрение Combiner и внутренняя работа
Я хочу использовать комбинатор в своем коде MR, скажем, WordCount.Как мне это реализовать?Какие данные передаются в редуктор от объединителя?Будет здорово, е...
/ bin / bash: / bin / java: нет такого файла или каталога
Я пытался запустить простую программу MapReduce Wordcount с использованием Java 1.7 SDK и Hadoop2.7.1 в Mac OS X EL Captain 10.11, и я получаю следующее сооб...
Oozie> Java action> почему не работает свойство oozie.launcher.mapred.child.java.opts
Я работаю над Oozie с действием Java. Действие Java должно использовать параметр Java -Xmx15g. Соответственно, я устанавливаю для свойства oozie.mapreduce.ma...
Запуск отдельного приложения Hadoop на нескольких ядрах процессора
Моя команда создала приложение Java с использованием библиотек Hadoop для преобразования множества входных файлов в полезный вывод. Учитывая текущую нагрузку...
Что такое файл последовательности в hadoop?
Я новичок в Map-Reduce, и я хочу понять, что такое ввод данных в файл последовательности? Я учился в книге Hadoop, но мне было трудно это понять.
Количество редукторов по умолчанию
В Hadoop, если мы не установили количество редукторов, сколько будет создано число редукторов?Как число картографов зависит от(общий размер данных) / (входно...