Результаты поиска по запросу "hadoop"

2 ответа

Использование эластичного поиска в качестве центрального хранилища данных

В настоящее время мы используем эластичный поиск для индексации и выполнения поиска около 10 миллионов документов. Он отлично работает, и мы довольны его раб...

0 ответов

Тогда все просто работает. Вам не нужно (а может и не нужно) менять

аюсь поиграть с набором данных Google Ngrams, используя Amazon Elastic Map Reduce. Есть публичный набор данных на http://aws.amazon.com/datasets/8172056142375670 [http://aws.amazon.com/datasets/8172056142375670]и я хочу использовать ...

1 ответ

Hadoop - большие файлы в распределенном кеше

У меня есть файл размером 4 ГБ, который я пытаюсь открыть для всех картографов через распределенный кеш. Но я наблюдаю значительную задержку начала попытки задания карты. В частности, существует значительная задержка между временем отправки моей ...

ТОП публикаций

1 ответ

Еще нет. Я попробую это.

лал образ hadoop, основанный на centos, используя dockerfile. Есть 4 узла. Я хочу настроить кластер, используя ssh-copy-id. Но произошла ошибка. ERROR: ssh: connect to host [ip] port 22: Connection refusedКак я могу решить эту проблему?

2 ответа

Класс Hadoop JobConf устарел, нужен обновленный пример

Я пишу программы Hadoop, и я действительно не хочу играть с устаревшими классами. В любом месте онлайн я не могу найти программы с обновленными org.apache.hadoop.conf.Configuration класс, состоящий ...

1 ответ

Исключение при отправке задания maprecece из удаленной системы

Я получил исключение при отправке задания mapreduce из удаленной системы 13/10/28 18:49:52 ОШИБКА security.UserGroupInformation: PriviledgedActionException as: корневая причина: org.apache.hadoop.mapred.InvalidInputException: Путь ввода не ...

2 ответа

Добавить несколько файлов в распределенный кеш в HIVE

В настоящее время у меня возникла проблема с добавлением содержимого папок в доверенный кеш Hives. Я могу успешно добавить несколько файлов в распределенный кеш в Hive, используя: ADD FILE /folder/file1.ext; ADD FILE /folder/file2.ext; ADD ...

4 ответа

Hadoop: предоставить каталог в качестве входных данных для задания MapReduce

Я использую Cloudera Hadoop. Я могу запустить простую программу mapreduce, где я предоставляю файл в качестве входных данных для программы MapReduce. Этот файл содержит все остальные файлы, которые будут обработаны функцией mapper. Но я застрял ...

3 ответа

Есть ли потеря памяти в HDFS, если мы используем небольшие файлы?

Я взял ниже цитату из Hadoop - Полное руководство: обратите внимание, однако, что небольшие файлы не занимают больше места на диске, чем требуется для хранен...

1 ответ

Вот пример запроса Hive, который я выполняю. Вы можете видеть здесь 2 броска:

аюсь создать своего рода конвейер данных для переноса моих таблиц Hive в BigQuery. Hive работает на кластере Hadoop. Это мой текущий дизайн, на самом деле, это очень просто, это всего лишь сценарий оболочки: для каждой таблицы source_hive_table ...