Результаты поиска по запросу "mapreduce"
Как я могу разбить таблицу с помощью HIVE?
Я играл с Hive уже несколько дней, но мне все еще трудно с разделом. Я записываю логи Apache (Combine format) в Hadoop в течение нескольких месяцев. Они хранятся в текстовом формате строки, разделены по дате (через flume): / logs / гггг / мм / ...
Слияние двух коллекций в MongoDB
Я пытался использовать MapReduce в MongoDB, чтобы сделать то, что я считаю простой процедурой. Я не знаю, является ли это правильным подходом, если я должен даже использовать MapReduce. Я гуглил, какие ключевые слова я придумал, и пытался попасть ...
Вызов задания mapreduce из простой Java-программы
Я пытался вызвать задание mapreduce из простой java-программы в том же пакете. Я пытался ссылаться на jar-файл mapreduce в моей java-программе и вызывать его, используяrunJar(String args[]) метод, также передавая входные и выходные пути для ...
Как использовать код MATLAB в маппере (Hadoop)?
У меня есть код Matlab, который обрабатывает изображения. Я хочу создать картограф Hadoop, который использует этот код. Я сталкивался со следующими решениями, но не уверен, какое из них лучше (так как для меня очень сложно установить время ...
Задание Hadoop: задача не может сообщить о состоянии в течение 601 секунды
При выполнении задания hadoop в псевдоноде задание не выполняется и его убивают. Ошибка: Задача попытки_ не в состоянии сообщить о состоянии в течение 601 секунды Но та же самая программа работает через Eclipse (локальная работа). Задача: ...
Сбой операции Hadoop Map-Reduce при записи вывода
Наконец-то я смог начать работу по уменьшению карты в Hadoop (на одном компьютере с Debian). Однако задание уменьшения карты всегда завершается с ошибкой: hadoopmachine@debian:~$ ./hadoop-1.0.1/bin/hadoop jar ...
Hadoop DistributedCache устарел - какой предпочтительный API?
Моим картографическим задачам нужны некоторые данные конфигурации, которые я хотел бы распространять через распределенный кэш. HadoopMapReduce ...
Hadoop: номер редуктора не равен тому, что я установил в программе
Я установил mapred.tasktracker.reduce.tasks.maximum до 10 вmapred-site.xmlи я тоже пишуjobConf.setNumReduceTasks(5) в моей работе. Все хорошо, если я запускаю работу в Shell. Но когда я выполняю ту же работу по затмению, запускается только один ...
Могу ли я одновременно считать группы и фильтровать по диапазону клавиш, используя представление CouchDB?
Я использую CouchDB. Я хотел бы иметь возможность подсчитывать вхождения значений определенных полей в пределах диапазона дат, который может быть указан во время запроса. Кажется, я могу сделать часть этого, но у меня возникают проблемы с ...
Hadoop Map Уменьшить опорные статические объекты
У меня есть статический объект на карте, уменьшающий класс задания, который я хочу инициализировать один раз (в основном методе), а затем вызывать для него функцию в каждом отображении. Итак, у меня есть объект MyObject, который я объявляю как ...