Результаты поиска по запросу "mapreduce"
Как установить объект в качестве значения для вывода карты в Hadoop MapReduce?
В Hadoop MapReduce для промежуточного вывода (генерируемого картой ()) я хочу, чтобы значением для промежуточного вывода был следующий объект. MyObject{ date:Date balance:Double }Как бы я это сделал? Должен ли я создать свой собственный ...
Зачем нам нужен Hadoop без пароля ssh?
AFAIK, ssh без пароля необходим, чтобы главный узел мог запускать процессы демона на каждом подчиненном узле. Кроме того, есть ли смысл использовать ssh без пароля для работы Hadoop? Как файлы кода пользователя и фрагменты данных передаются ...
Как получить вывод на печать для отладки карты / уменьшить в Mongoid?
Я пишу карту / уменьшить операцию с Mongoid 3.0. Я пытаюсь использоватьprint оператор для отладки функций JS. Этопредложение по устранению неполадок из документов ...
Как MapReduce читает из нескольких входных файлов?
Я разрабатываю код для чтения данных и записи вHDFS с помощьюmapreduce, Однако, когда у меня есть несколько файлов, я не понимаю, как это обрабатывается. Входной путь к мапперу - это имя каталога, как видно из вывода String filename = ...
MongoDB MapReduce: не работает должным образом для более чем 1000 записей
Я написал функцию mapreduce, где записи выводятся в следующем формате {userid:<xyz>, {event:adduser, count:1}} {userid:<xyz>, {event:login, count:1}} {userid:<xyz>, {event:login, count:1}} {userid:<abc>, {event:adduser, count:1}} где userid - ...
Как используется класс Configured в программах Hadoop?
Большинство программ Hadoop MapReduce выглядят так: public class MyApp extends Configured Implements Tool { @Override public int run(String[] args) throws Exception { Job job = new Job(getConf()); /* process command line options */ return ...
Получение имени файла / FileData в качестве ввода ключа / значения для Map при запуске задания Hadoop MapReduce
Я прошел через вопросКак получить имя файла / содержимое файла в качестве ввода ключа / значения для MAP при запуске задания Hadoop ...
Реализация для Hadoop CombineFileInputFormat 0.20.205
Может кто-нибудь указать, где я мог бы найти реализацию дляCombineFileInputFormat (org. using Hadoop 0.20.205 - это для создания больших разбиений из очень маленьких файлов журнала (текст в строках) с использованием EMR. Удивительно, что Hadoop ...
Ошибка обработки: Обнаружен интерфейс org.apache.hadoop.mapreduce.TaskAttemptContext, но ожидался класс
Я использую CDH4 и написал приложение MapReduce, используя новый API mapreduce. Я скомпилировал его с hadoop-core-1.0.3.jar, и когда я запускаю его на своем кластере Hadoop, я получаю сообщение об ошибке: Ошибка: обнаружен интерфейс ...
Как получить документ с максимальным значением для поля с map-lower в pymongo?
Как мне найти документ с максимальнойuid поле с картой-уменьшить в пимонго? Я пробовал следующее, но он печатает пробелы: from pymongo import Connection from bson.code import Code db = Connection().map_reduce_example db.things.insert({ "_id" ...