Результаты поиска по запросу "hadoop"
импортировать сложные данные Json в улей
Требуется небольшая ложка кормления, как импортировать комплекс JSON в улей. JSON файл в формате:{"some-headers":"", "dump":[{"item-id":"item-1"},{"item-id":"item-2"},...]}, Улей, чтобы поля были даны подdump, Размер файла Json, как и сейчас, не ...
Альтернатива MultipleTextOutputFormat в новом API
Как видно, MultipleTextOutputFormat не были перенесены в новый API. Итак, если нам нужно выбрать выходной каталог и выходное fiename на основе значения ключа, записываемого на лету, то какая у нас альтернатива с новым mapreduce API?
Как удалить / усечь таблицы из Hadoop-Hive?
Скажите, пожалуйста, как удалить таблицу из улья, а также укажите, где можно получить дополнительную информацию о запросах улья.
Как вытащить данные из мэйнфрейма в Hadoop
У меня есть файлы в мейнфрейме. Я хочу, чтобы эти данные были переданы в Hadoop (HDFS) / HIVE. Я могу использовать Sqoop для базы данных DB2 Mainframe и импортировать ее в HIVE, но как насчет файлов (например,COBOL,VASM и т.д.) Есть ли ...
Выполнение спекулятивной задачи Hadoop
В статье Google MapReduce у них есть задача резервного копирования, я думаю, это то же самое, что и спекулятивная задача в Hadoop. Как реализована спекулятивная задача? Когда я запускаю умозрительное задание, оно начинается с самого начала, как ...
Первая ошибка проекта hadoop: «Входной путь не существует»
Для настройки простого проекта hadoop я следую этому уроку: http://ebiquity.umbc.edu/Tutorials/Hadoop/23%20-%20create%20the%20project.html [http://ebiquity.umbc.edu/Tutorials/Hadoop/23%20-%20create%20the%20project.html] Кажется, мой единственный ...
Hadoop: разрешение start-dfs.sh отклонено
Я устанавливаю Hadoop на свой ноутбук. SSH работает нормально, но я не могу запустить hadoop. munichong@GrindPad:~$ ssh localhost Welcome to Ubuntu 12.10 (GNU/Linux 3.5.0-25-generic x86_64) * Documentation: https,://help.ubuntu.com/ 0 ...
MRUnit с Avro NullPointerException в сериализации
Я пытаюсь протестировать работу Hadoop .mapreduce Avro с помощью MRUnit. Я получаю исключение NullPointerException, как показано ниже. Я приложил часть кода и исходного кода. Любая помощь будет оценена. Спасибо Я получаю ...
Распакуйте файлы, используя потоковую передачу hadoop
У меня есть много файлов в HDFS, все они zip-файлы с одним CSV-файлом внутри. Я пытаюсь распаковать файлы, чтобы запустить потоковое задание для них. Я пытался: hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar \ ...
Можно ли импортировать данные в таблицу Hive без копирования данных?
У меня есть файлы журналов, хранящиеся в виде текста в HDFS. Когда я загружаю файлы журнала в таблицу Hive, все файлы копируются. Могу ли я избежать хранения всех моих текстовых данных дважды? РЕДАКТИРОВАТЬ: я загружаю его с помощью следующей ...