Результаты поиска по запросу "hadoop"
Использование эластичного поиска в качестве центрального хранилища данных
В настоящее время мы используем эластичный поиск для индексации и выполнения поиска около 10 миллионов документов. Он отлично работает, и мы довольны его раб...
Тогда все просто работает. Вам не нужно (а может и не нужно) менять
аюсь поиграть с набором данных Google Ngrams, используя Amazon Elastic Map Reduce. Есть публичный набор данных на http://aws.amazon.com/datasets/8172056142375670 [http://aws.amazon.com/datasets/8172056142375670]и я хочу использовать ...
Hadoop - большие файлы в распределенном кеше
У меня есть файл размером 4 ГБ, который я пытаюсь открыть для всех картографов через распределенный кеш. Но я наблюдаю значительную задержку начала попытки задания карты. В частности, существует значительная задержка между временем отправки моей ...
Еще нет. Я попробую это.
лал образ hadoop, основанный на centos, используя dockerfile. Есть 4 узла. Я хочу настроить кластер, используя ssh-copy-id. Но произошла ошибка. ERROR: ssh: connect to host [ip] port 22: Connection refusedКак я могу решить эту проблему?
Класс Hadoop JobConf устарел, нужен обновленный пример
Я пишу программы Hadoop, и я действительно не хочу играть с устаревшими классами. В любом месте онлайн я не могу найти программы с обновленными org.apache.hadoop.conf.Configuration класс, состоящий ...
Исключение при отправке задания maprecece из удаленной системы
Я получил исключение при отправке задания mapreduce из удаленной системы 13/10/28 18:49:52 ОШИБКА security.UserGroupInformation: PriviledgedActionException as: корневая причина: org.apache.hadoop.mapred.InvalidInputException: Путь ввода не ...
Добавить несколько файлов в распределенный кеш в HIVE
В настоящее время у меня возникла проблема с добавлением содержимого папок в доверенный кеш Hives. Я могу успешно добавить несколько файлов в распределенный кеш в Hive, используя: ADD FILE /folder/file1.ext; ADD FILE /folder/file2.ext; ADD ...
Hadoop: предоставить каталог в качестве входных данных для задания MapReduce
Я использую Cloudera Hadoop. Я могу запустить простую программу mapreduce, где я предоставляю файл в качестве входных данных для программы MapReduce. Этот файл содержит все остальные файлы, которые будут обработаны функцией mapper. Но я застрял ...
Есть ли потеря памяти в HDFS, если мы используем небольшие файлы?
Я взял ниже цитату из Hadoop - Полное руководство: обратите внимание, однако, что небольшие файлы не занимают больше места на диске, чем требуется для хранен...
Вот пример запроса Hive, который я выполняю. Вы можете видеть здесь 2 броска:
аюсь создать своего рода конвейер данных для переноса моих таблиц Hive в BigQuery. Hive работает на кластере Hadoop. Это мой текущий дизайн, на самом деле, это очень просто, это всего лишь сценарий оболочки: для каждой таблицы source_hive_table ...