Результаты поиска по запросу "hdfs"
Перемещение данных в hdfs с помощью переключателя copyFromLocal
Я не знаю, что здесь происходит, но я пытаюсь скопировать простой файл из каталога в моей локальной файловой системе в каталог, указанный для hdfs. В моем hdfs-site.xml я указал, что каталог для hdfs будет / home / vaibhav / Hadoop / ...
Лучшая компрессия с разделением для ввода Hadoop = bz2?
Мы слишком поздно осознали, что архивирование наших файлов в формате GZip для обработки Hadoop не такая уж хорошая идея. GZip не разбивается, и для справки, вот проблемы, которые я не буду повторять: Очень простой вопрос о Hadoop и сжатых ...
Может ли Apache Flume HDFS принять динамический путь для записи?
Я новичок в Apache Flume. Я пытаюсь увидеть, как я могу получить JSON (в качестве источника http), проанализировать его и сохранить его в динамический путь в hdfs в соответствии с содержимым. Например: если JSON это: [{ "field1" : "value1", ...
Ошибка форматирования HDFS namenood «Не удалось найти основной класс: namenood». Код прилагается
я получаю ошибку при форматировании Namenode, как показано ниже, [hadoop@localhost ~]$ /home/hadoop/project/hadoop-1.0.4/bin/hadoop namenood -format Exception in thread "main" java.lang.NoClassDefFoundError: namenood Caused by: ...
Можно ли импортировать данные в таблицу Hive без копирования данных?
У меня есть файлы журналов, хранящиеся в виде текста в HDFS. Когда я загружаю файлы журнала в таблицу Hive, все файлы копируются. Могу ли я избежать хранения всех моих текстовых данных дважды? РЕДАКТИРОВАТЬ: я загружаю его с помощью следующей ...
Запись данных в Hadoop
Мне нужно записывать данные в Hadoop (HDFS) из внешних источников, таких как окно Windows. Прямо сейчас я копирую данные в namenode и использую команду put HDFS, чтобы вставить их в кластер. В моем просмотре кода я не видел API для этого. Я ...
Ошибка «Отказ в соединении» для Namenode-HDFS (проблема Hadoop)
Все мои узлы работают, когда мы видим, используяjps команда, но я не могу подключиться к файловой системе hdfs. Всякий раз, когда я нажимаю наBrowse the filesystem на странице Hadoop Namenode localhost: 8020, ошибка, которую я получаю,Connection ...
Почему HDFS пишут один раз и читают несколько раз?
Я новый ученик Hadoop. Читая об Apache HDFS, я узнал, что HDFS является однократной записью файловой системы. В некоторых других дистрибутивах (Cloudera) предусмотрена функция добавления. Будет полезно узнать рациональное за этим дизайнерским ...
java.sql.SQLException: не удалось запустить ошибку базы данных metastore_db при инициализации базы данных с помощью куста
Я установил Hadoop и Hive на 3 кластера. Я могу войти в улей из моего кластерного узла, где работает HIVE. root @ NODE_3 hive] # hive Журнал инициализируется с использованием конфигурации в jar: file: ...
Имя узла находится в безопасном режиме. Не может уйти
root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode.не в состоянии создать что-либо в hdfs я сделал root# bin/hadoop fs -safemode leaveНо ...