Результаты поиска по запросу "hadoop"
PIG UDF обрабатывает многослойный кортеж, разбитый на разные мапперы
У меня есть файл, где каждый кортеж занимает несколько строк, например: START name: Jim phone: 2128789283 address: 56 2nd street, New York, USA END START name: Tom phone: 6308789283 address: 56 5th street, Chicago, 13611, USA END . . .Итак, выше ...
Как установить объект в качестве значения для вывода карты в Hadoop MapReduce?
В Hadoop MapReduce для промежуточного вывода (генерируемого картой ()) я хочу, чтобы значением для промежуточного вывода был следующий объект. MyObject{ date:Date balance:Double }Как бы я это сделал? Должен ли я создать свой собственный ...
запуск процесса hadoop с использованием start-all.sh сталкивается с проблемами [закрыто]
я использую redhat linux 4.1.2 Когда я пытаюсь запустить hadoop с помощью приведенной ниже команды, он запрашивает пароль root @ localhost. Я не понимаю, какой пароль ввести здесь. sreenath @ sreenath-pc # sudo -i [root @ sreenath-pc ...
Зачем нам нужен Hadoop без пароля ssh?
AFAIK, ssh без пароля необходим, чтобы главный узел мог запускать процессы демона на каждом подчиненном узле. Кроме того, есть ли смысл использовать ssh без пароля для работы Hadoop? Как файлы кода пользователя и фрагменты данных передаются ...
InstantiationException в программе hadoop map уменьшить программу
Я новичок в Hadoop Framework. Я пытался написать программу, которая читает файл XML из hdfs, анализирует его с помощью JDOM и отправляет его в базу данных. Ниже приведен файл Java package JDOMprs; import java.io.IOException; import ...
Чтение файла BZip2 в Hadoop
Я слышал, что мы можем использовать несколько картографов для параллельного чтения различных частей одного файла bzip2 в Hadoop, чтобы повысить производительность. Но я не могу найти похожие образцы после поиска. Спасибо, если кто-нибудь может ...
Как MapReduce читает из нескольких входных файлов?
Я разрабатываю код для чтения данных и записи вHDFS с помощьюmapreduce, Однако, когда у меня есть несколько файлов, я не понимаю, как это обрабатывается. Входной путь к мапперу - это имя каталога, как видно из вывода String filename = ...
Уничтожение DFS в Hadoop
Как стереть DFS в Hadoop?
Как используется класс Configured в программах Hadoop?
Большинство программ Hadoop MapReduce выглядят так: public class MyApp extends Configured Implements Tool { @Override public int run(String[] args) throws Exception { Job job = new Job(getConf()); /* process command line options */ return ...
Получение имени файла / FileData в качестве ввода ключа / значения для Map при запуске задания Hadoop MapReduce
Я прошел через вопросКак получить имя файла / содержимое файла в качестве ввода ключа / значения для MAP при запуске задания Hadoop ...