Результаты поиска по запросу "hadoop"
использование JSON-SerDe в таблицах Hive
Я пытаюсь JSON-SerDe снизу ссылку http://code.google.com/p/hive-json-serde/wiki/GettingStarted [http://code.google.com/p/hive-json-serde/wiki/GettingStarted]. CREATE TABLE my_table (field1 string, field2 int, field3 string, field4 double) ROW ...
По-прежнему появляется сообщение «Невозможно загрузить информацию о области из SCDynamicStore» после исправления ошибки
Я установилHadoop а такжеPig с помощьюbrew install hadoop а такжеbrew install pig. Я читаюВот [https://stackoverflow.com/questions/7134723/hadoop-on-osx-unable-to-load-realm-info-from-scdynamicstore] что вы хотите получитьUnable to load realm ...
Лучшая компрессия с разделением для ввода Hadoop = bz2?
Мы слишком поздно осознали, что архивирование наших файлов в формате GZip для обработки Hadoop не такая уж хорошая идея. GZip не разбивается, и для справки, вот проблемы, которые я не буду повторять: Очень простой вопрос о Hadoop и сжатых ...
Hadoop Reducer: как я могу выводить в несколько каталогов, используя умозрительное выполнение?
У меня есть редуктор, который должен выводить результаты в разные каталоги, чтобы впоследствии мы могли использовать выходные данные в качестве входных данных для Hive в качестве секционированной таблицы. (Hive создает разделы на основе имени ...
Ошибка Hadoop в выполнении: несоответствие типа ключа из карты: ожидается org.apache.hadoop.io.Text, получено org.apache.hadoop.io.LongWritable
Я реализую алгоритм PageRank на Hadoop, и, как видно из заголовка, я обнаружил следующую ошибку при попытке выполнить код: Введите несоответствие в ключе с карты: ожидается org.apache.hadoop.io.Text, получено org.apache.hadoop.io.LongWritable В ...
Может ли Apache Flume HDFS принять динамический путь для записи?
Я новичок в Apache Flume. Я пытаюсь увидеть, как я могу получить JSON (в качестве источника http), проанализировать его и сохранить его в динамический путь в hdfs в соответствии с содержимым. Например: если JSON это: [{ "field1" : "value1", ...
Ошибка форматирования HDFS namenood «Не удалось найти основной класс: namenood». Код прилагается
я получаю ошибку при форматировании Namenode, как показано ниже, [hadoop@localhost ~]$ /home/hadoop/project/hadoop-1.0.4/bin/hadoop namenood -format Exception in thread "main" java.lang.NoClassDefFoundError: namenood Caused by: ...
Как я могу выполнить Sqoop в Java?
Я создал новый Java-проект, затем добавил Library Sqoop и Hadoop. (Библиотеки "hadoop-core-1.1.1.jar, sqoop-1.4.2.jar и т. Д ....".) Тогда я попробовал ниже код: public class MySqoopDriver { public static void main(String[] args) { String[] str ...
как предотвратить сбой задания hadoop на поврежденном входном файле
Я выполняю задание hadoop на многих входных файлах. Но если один из файлов поврежден, вся работа не выполняется. Как я могу сделать работу, чтобы игнорировать поврежденный файл? возможно напишите мне какой-нибудь счетчик / журнал ошибок, ноне ...
Виртуальный кластер Hadoop против одной машины
У меня есть вопрос, касающийся скорости и производительности использования нескольких виртуализированных узлов на одном компьютере против одного узла на самой машине. какой из них будет работать лучше? Причина, по которой я задаю этот вопрос, ...