Результаты поиска по запросу "mapreduce"
Как отсортировать данные в карте уменьшить Hadoop?
Я работаю с программой, которая имеет 4 шага MapReduce. Результат моего первого шага: id value 1 20 2 3 3 9 4 36У меня есть около 1 000 000 идентификаторов, и на втором шаге я должен отсортировать значения. Вывод этого шага: id value 4 36 1 20 ...
IPython.parallel не использует многоядерный?
Я экспериментирую сIPython.parallel и просто хочу запустить несколько команд оболочки на разных движках. У меня есть следующая тетрадь: Ячейка 0: from IPython.parallel import Client client = Client() print len(client) 5И запустите ...
В чем причина наличия записываемых классов-оболочек в Hadoop MapReduce для типов Java?
Мне кажется, чтоorg.apache.hadoop.io.serializer.Serialization может быть написан для сериализации типов Java напрямую в том же формате, в который классы-обертки сериализуют тип. Таким образом, Mappers и Reducers не должны иметь дело ...
Размер разделения входных данных Hadoop и размер блока
Я прохожу через полное руководство по Hadoop, где оно четко объясняет разделение входных данных. Это идет как Разделение входных данных не содержит фактических данных, скорее, оно имеет места для хранения данных в HDFS а также Обычно размер ...
Выполнение задания с использованием потоковой передачи hadoop и mrjob: PipeMapRed.waitOutputThreads (): не удалось выполнить подпроцесс с кодом 1
Эй, я довольно новичок в мире больших данных. Я наткнулся на этот ...
Hadoop MapReduce сортировать уменьшить выход с помощью ключа
внизу есть программа для уменьшения количества слов, содержащая слова нескольких текстовых файлов. Моя цель - получить результат в порядке убывания количества появлений. К сожалению, программа сортирует вывод лексикографически по ключу. Я ...
Для массива, более эффективно использовать map () и Reduce () вместо ForEach () в JavaScript?
1) Как мы знаем, побочных эффектов у map () и lower () нет. В настоящее время у нас также есть muti-core на мобильном телефоне. Так эффективнее ли их использовать? 2) С другой стороны, в большинстве браузеров для выполнения js есть только ...
Чтение HDFS и локальных файлов в Java
Я хочу прочитать пути к файлам независимо от того, являются ли они HDFS или локальными. В настоящее время я передаю локальные пути с префиксом file: // и пути HDFS с префиксом hdfs: // и пишу некоторый код следующим образом Configuration ...
Как работает разделение в MapReduce?
Я думаю, что у меня есть четкое понимание модели программирования MapReduce в целом, но даже после прочтения оригинальной статьи и некоторых других источников мне неясны многие детали, особенно в отношении разделения промежуточных результатов. Я ...
Найти количество максимальных последовательных записей на основе одного поля в Mongodb Query
Я хочу найти количество максимальных последовательных записей на основе одного конкретного поля.мой