Результаты поиска по запросу "hadoop"

8 ответов

Вывести запрос Hive в файл

Я запускаю запрос улья по коду Java. Пример: «ВЫБРАТЬ * ИЗ таблицы ГДЕ id> 100» Как экспортировать результат в файл hdfs.

1 ответ

Как включить hbase-site.xml в путь к классам

В настоящее время я пытаюсь заставить мой код HBase использовать параметры, указанные в моем hbase-site.xml. Кажется, он использует настройки по умолчанию вместо того, что указано в файле конфигурации hbase-site.xml. Я перезапустил кластер HBase ...

2 ответа

Ошибка обработки: Обнаружен интерфейс org.apache.hadoop.mapreduce.TaskAttemptContext, но ожидался класс

Я использую CDH4 и написал приложение MapReduce, используя новый API mapreduce. Я скомпилировал его с hadoop-core-1.0.3.jar, и когда я запускаю его на своем кластере Hadoop, я получаю сообщение об ошибке: Ошибка: обнаружен интерфейс ...

ТОП публикаций

4 ответа

Hadoop HDFS: чтение файлов последовательности, которые записываются

Я использую Hadoop 1.0.3. Я записываю журналы в файл последовательности Hadoop в HDFS, я вызываю syncFS () после каждой группы журналов, но я никогда не закрываю файл (за исключением случаев, когда я выполняю ежедневное обновление). То, что я ...

1 ответ

CDH4 Hbase с использованием ошибки Pig 2998 java.lang.NoClassDefFoundError: org / apache / hadoop / hbase / filter / Filter

Я использую CDH4 в псевдораспределенном режиме, и у меня возникли некоторые проблемы при совместной работе с HBase и Pig (но оба работают нормально в одиночку). Я следую шаг за шагом этот хороший ...

1 ответ

Изменение размещения стратегии блокирования HDFS

Я хотел бы изменить стратегию размещения блока по умолчанию в HDFS, чтобы удовлетворить мое заявление. Например, у меня есть два файла сказать file1 (128 Мб) и file2 (128 МБ). Имея размер блока как 64Мб, каждый из файлов будет разделен на два ...

3 ответа

dfs.namenode.servicerpc-address или dfs.namenode.rpc-address не настроен

Я пытался настроить hadoop с одним узлом имени и четырьмя узлами данных. Мне удалось успешно настроить узел имен и систему отслеживания заданий на одном компьютере и запустить его. Но на моей машине, где должен быть сконфигурирован узел данных, ...

4 ответа

Как Hive хранит данные и что такое SerDe?

при запросе таблицы SerDe будетдесериализовать строку данных из байтов в файле в объекты, используемые Hive для работы с этой строкой данных, при выполнении операции INSERT или CTAS (см. «Импорт данных» на стр. 441) SerDe таблицы ...

3 ответа

Вычисление различий между последовательными записями в Hadoop с Hive Queries

У меня есть таблица Hive, которая содержит данные о клиентских звонках. Для простоты рассмотрим, что он имеет 2 столбца, первый столбец содержит идентификатор клиента, а второй столбец содержит временную метку вызова (временная метка unix). Я ...

1 ответ

Перемещение данных в hdfs с помощью переключателя copyFromLocal

Я не знаю, что здесь происходит, но я пытаюсь скопировать простой файл из каталога в моей локальной файловой системе в каталог, указанный для hdfs. В моем hdfs-site.xml я указал, что каталог для hdfs будет / home / vaibhav / Hadoop / ...