Результаты поиска по запросу "mapreduce"
Несколько выходных путей (Java - Hadoop - MapReduce)
Я выполняю две работы в MapReduce и хочу, чтобы вторая работа позволила записать мой результат в два разных файла, в двух разных каталогах. Я хотел бы что-то похожее на FileInputFormat.addInputPath (.., несколько путей ввода) в некотором смысле, ...
Как клиентская работа в hadoop вычисляет inputSplits
Я пытаюсь получить представление о карте уменьшить архитектуру. Я консультируюсь с этимhttp://answers.oreilly.com/topic/2141-how-mapreduce-works-with-hadoop/ [http://answers.oreilly.com/topic/2141-how-mapreduce-works-with-hadoop/]статья. У меня ...
Пример Hadoop WordCount - опция Run On Hadoop (Eclipse) не запрашивает Выбор сервера Hadoop для запуска в окне
Я пытаюсь запустить пример подсчета слов наЗатмение, Обычно, когда мы нажимаем на опцию «Run on hadoop» в eclipse, мы получаем новое окно с просьбой выбрать местоположение сервера. Но теперь она напрямую запускает программу, не прося меня выбрать ...
Генерация отдельных выходных файлов в Hadoop Streaming
Используя только маппер (скрипт Python) и без редуктора, как я могу вывести отдельный файл с ключом в качестве имени файла для каждой строки вывода вместо длинных файлов вывода?
hadoop.mapred против hadoop.ma, предвосхищать?
Почему в дереве пакетов Apoop Apache есть два отдельных пакета ...
Преимущества использования NullWritable в Hadoop
Каковы преимущества использованияNullWritable заnull ключи / значения по сравнению с использованиемnull тексты (т.е.new Text(null)). Я вижу следующее из книги «Hadoop: Полное руководство». NullWritable это особый типWritable, так как он имеет ...
поддержка gzip в Spark
Для проекта Big Data я планирую использоватьискра [http://spark-project.org/docs/latest/index.html], который имеет некоторые полезные функции, такие как вычисления в памяти для повторяющихся рабочих нагрузок. Он может работать на локальных файлах ...
Используйте глобальную переменную в классе reudcer
Мне нужно использовать глобальную переменную в моей программе mapreduce, как установить ее в следующем коде и использовать глобальную переменную в редукторе. public class tfidf { public static tfidfMap.............. { } public ...
Как найти идентификатор работы Hadoop в коде?
У меня есть программа Hadoop, которая имеет цикл. На каждой итерации цикла создается задание. Как я могу найти идентификатор работы в коде?