Результаты поиска по запросу "mapreduce"
Размер разделения входных данных Hadoop и размер блока
Я прохожу через полное руководство по Hadoop, где оно четко объясняет разделение входных данных. Это идет как Разделение входных данных не содержит фактических данных, скорее, оно имеет места для хранения данных в HDFS а также Обычно размер ...
Как работает разделение в MapReduce?
Я думаю, что у меня есть четкое понимание модели программирования MapReduce в целом, но даже после прочтения оригинальной статьи и некоторых других источников мне неясны многие детали, особенно в отношении разделения промежуточных результатов. Я ...
DiskErrorException на подчиненном компьютере - мультиузел Hadoop
Я пытаюсь обработать XML-файлы из hadoop, я получил следующую ошибку при вызове задания подсчета слов в XML-файлах. 13/07/25 12:39:57 INFO mapred.JobClient: Task Id : attempt_201307251234_0001_m_000008_0, Status : FAILED Too many ...
Чтение файла как отдельной записи в hadoop
У меня огромное нет. из небольших файлов, я хочу использовать CombineFileInputFormat для объединения файлов таким образом, чтобы данные каждого файла были представлены как одна запись в моей работе MR. Я ...
Свинья против Улья против Родной Карты Уменьшить
У меня есть общее представление о том, что такое абстракции Свинья, Улей. Но я не имею четкого представления о сценариях, которые требуют уменьшения Hive, Pig или native map. Я просмотрел несколько статей, в которых в основном говорится, что ...
Как реализовать сортировку в hadoop?
Моя проблема заключается в сортировке значений в файле. ключи и значения являются целыми числами и должны содержать ключи отсортированных значений. key value 1 24 3 4 4 12 5 23выход: 1 24 5 23 4 12 3 4Я работаю с массивными данными и должен ...
В чем принципиальная разница между jobconf и job?
Привет, я хотел знать основное различие между jobconf и объектами job, в настоящее время я отправляю свою работу следующим образом JobClient.runJob(jobconf);я видел другой способ подачи работы, как это Configuration conf = getConf(); Job job = ...
Карта уменьшает работу, застревающую на карте 0% уменьшает 0%
Я запускаю известный пример WordCount. У меня есть локальная установка Prod Hadoop. Тот же пример работает в Prod, но не работает локально. Может кто-нибудь сказать мне, что я должен искать. Работа застревает. Журналы задач: ~/tmp$ hadoop jar ...
Расширьте SequenceFileInputFormat, чтобы включить имя файла + смещение
Я хотел бы иметь возможность создать пользовательский InputFormat, который читает файлы последовательности, но дополнительно предоставляет путь к файлу и смещение в этом файле, где находится запись. Чтобы сделать шаг назад, вот пример ...
Как прервать работу MR внутри картографа (или редуктора)
Я попытался выбросить IOException в методе map, но работа MR не была остановлена. Работа будет остановлена после тонны IOException. Есть ли способ остановить всю работу, просто бросив исключение или несколько простых вызовов? Благодарю.