Результаты поиска по запросу "mapreduce"
Как Hive решает, когда использовать карту, а когда нет?
В качестве простого примера select * from tablename;НЕ пинает в карту уменьшать, пока select count(*) from tablename;ДЕЛАЕТ. Какой общий принцип используется, чтобы решить, когда использовать уменьшение карты (по ульям)?
как использовать mapreduce в под-документе запроса mongoose / mongodb?
Я реализовал простую систему сообщений в mongoose / mongodb, схема выглядит следующим образом var schema = new mongoose.Schema({ user: {type:String, required:true}, updated: {type:Date, default:new Date()}, msgs: [ {m:String, // message itself ...
Сериализация с использованием ArrayWritable, кажется, работает забавно
Я работал сArrayWritableв какой-то момент мне нужно было проверить, как Hadoop сериализуетArrayWritableэто то, что я получил, установивjob.setNumReduceTasks(0): 0 IntArrayWritable@10f11b8 3 IntArrayWritable@544ec1 6 IntArrayWritable@fe748f ...
Кластер Hadoop. Нужно ли повторять код на всех компьютерах перед запуском задания?
Это то, что смущает меня, когда я использую пример wordcount, я держу код на master и позволяю ему делать вещи с рабами, и он работает нормально Но когда я запускаю свой код, он начинает давать сбой на рабах, выдающих странные ошибки, такие ...
потоковая передача hadoop: как просматривать журналы приложений?
Я вижу все журналы Hadoop на моем/usr/local/hadoop/logs дорожка но где я могу увидеть журналы уровня приложений? например : mapper.py import logging def main(): logging.info("starting map task now") // -- do some task -- // print ...
Как настроить класс Writable в Hadoop?
Я пытаюсь реализовать класс Writable, но я понятия не имею, как реализовать класс Writable, если в моем классе есть вложенный объект, такой как список и т. Д. Может ли какое-либо тело помочь мне? Спасибо public class StorageClass implements ...
Различные способы настройки памяти для дочернего процесса TaskTracker (Mapper и Reduce Tasks)
В чем разница между настройкойmapred.job.map.memory.mb [https://issues.apache.org/jira/browse/HADOOP-5881]а такжеmapred.child.java.opts [http://hadoop.apache.org/common/docs/current/mapred-default.html]использование -Xmx для контроля ...
MapReduceBase и Mapper устарели
public static class Map extends MapReduceBase implements MapperMapReduceBase, Mapper а такжеJobConf устарели вHadoop 0.20.203. Что мы должны использовать сейчас? Редактировать 1 - дляMapper иMapReduceBaseЯ обнаружил, что нам просто ...
Группировать и считать в MongoDB
Я пытаюсь сгруппировать и посчитать количество элементов для каждой группы в mongodb 2.0.1, но пока безуспешно. Моя схема БД выглядит так: { "_id" : ObjectId("4ece7544853b4b0941000000"), "ResultSet" : { "Results" : [ { "quality" : 87, "state" : ...
Запустить задание Hadoop без использования JobConf
Я не могу найти ни одного примера отправки задания Hadoop, в котором не используется устаревшееJobConf класс.JobClient, который не устарел, все еще поддерживает только методы, которые принимаютJobConf параметр. Может кто-нибудь, пожалуйста, ...