Результаты поиска по запросу "mapreduce"
Вторичная сортировка в Map Reduce решается с помощью составного шаблона ключа, поэтому вы создаете ключ, такой как (ZoneId, TImeStamp), и в редукторе вы сначала выполняете итерации по часовому поясу, а затем по временным меткам, чтобы вы могли легко оценить максимальное значение за день.
я есть журнал значений меток времени (одновременных пользователей) различных «зон» веб-приложения чата в формате «Метка времени; Зона; Значение». Для каждой зоны существует одно значение в минуту каждого дня. Для каждой зоны я хочу перечислить ...
Вот как я следую за ответом @harri, чтобы удалить дубликаты:
ользую MongoDB и мне нужно удалить дубликаты записей. У меня есть коллекция списков, которая выглядит так: (упрощенно) [ { "MlsId": "12345"" }, { "MlsId": "12345" }, { "MlsId": "23456" }, { "MlsId": "23456" }, { "MlsId": "0" }, { "MlsId": "0" }, ...
https://jira.mongodb.org/browse/SERVER-2581
рует ли задание MongoDB MapReduce базу данных? Я занимаюсь разработкой многопользовательского веб-приложения MongoDB и беспокоюсь о многопользовательских конфликтах и производительности. У кого-нибудь есть слова мудрости для меня?
Затем вы можете позвонить с помощью такой команды:
ожет быть основной вопрос, но я не смог найти ответ на него в Google. У меня есть задание уменьшения карты, которое создает несколько выходных файлов в своем выходном каталоге. Мое приложение Java выполняет это задание на удаленном кластере ...
В маппере имя файла вы можете получить по этой команде:
даю программу для анализа файлов PDF, DOC и DOCX. Эти файлы хранятся в HDFS. Когда я запускаю свое задание MapReduce, я хочу, чтобы функция карты имела имя файла в качестве ключа и двоичное содержимое в качестве значения. Затем я хочу создать ...
Ввод-сопоставление пары ключ-значение в Hadoop
Обычно мы пишем маппер в виде: public static class Map extends Mapper<**LongWritable**, Text, Text, IntWritable>Здесь пара ключ-значение ввода для преобразователя<LongWritable, Text> - насколько я знаю, когда маппер получает входные данные, он ...
причины могут быть:
исал задание mapreduce для извлечения некоторой информации из набора данных. Набор данных - это рейтинг пользователей о фильмах. Количество пользователей составляет около 250 тыс., А количество фильмов около 300 тыс. Вывод карты<user, <movie, ...
Исключение при отправке задания maprecece из удаленной системы
Я получил исключение при отправке задания mapreduce из удаленной системы 13/10/28 18:49:52 ОШИБКА security.UserGroupInformation: PriviledgedActionException as: корневая причина: org.apache.hadoop.mapred.InvalidInputException: Путь ввода не ...
это круто
я использовал MapReduce для выполнения классической операции MR, аналога GROUP BY в SQL. Мне было интересно, будет ли концептуально возможно выполнить операцию JOIN с MapReduce. Есть идеи, как это можно реализовать? Имеет ли смысл ...
и, надеюсь, из cron (я еще не тестировал cron).
колько смущен текущим состоянием поддержки mapreduce в GAE. Согласно документам http://code.google.com/p/appengine-mapreduce/ [http://code.google.com/p/appengine-mapreduce/]фаза сокращения пока не поддерживается, но в описании сессии от I / O ...