Результаты поиска по запросу "hadoop"
Как излучать в тесном методе Редуктор
close метод, унаследованный отMapReduceBase не имеет аргументов: public void close()Так что у меня нетOutputCollector какreduce метод делает: void reduce(K2 key, Iterator<V2> values, OutputCollector<K3, V3> output, Reporter reporter)В новом API ...
Проблема с плагином Eclipse Hadoop (Call to localhost / 127.0.0.1: 50070) Может ли какой-нибудь орган дать мне решение для этого?
Проблема: проблема с плагином Eclipse Hadoop (Ошибка вызова localhost / 127.0.0.1: 50070 при локальном исключении: java.io.EOFException). Может ли какой-нибудь орган дать мне решение для этого? У меня учебное пособие по Cloudera. В которой ...
Когда вы создаете внешнюю таблицу в Hive с расположением S3, передаются ли данные?
При создании внешней таблицы в Hive (в Hadoop) с исходным местоположением Amazon S3 данные передаются в локальную HDFS Hadoop в: создание внешней таблицыкогда запросы (задания MR) выполняются на внешней таблиценикогда (никакие данные никогда не ...
Сохранить результат в локальном файле
Я запускаю скрипт Свинья и выполняю несколько сложных операций, а размер вывода очень маленький. Теперь я бегу hadoop fs -getmerge ...отдельно. Любой способ позволить сценарию свиньи свалить результат непосредственно в локальный файл?
Улей кластер по порядку против сортировки по
Насколько я понимаю; сортировать только по редуктору порядок по порядку вещей по всему миру, но сует все в один редукторы Кластер по интеллектуально распределяет вещи в редукторы по ключевому хешу и делает сортировку по Таким образом, мой ...
UDF Pig работает в AWS EMR с java.lang.NoClassDefFoundError: org / apache / pig / LoadFunc
Я разрабатываю приложение, которое пытается прочитать файл журнала, хранящийся в долларах S3, и проанализировать его с помощью Elastic MapReduce. Текущий файл журнала имеет следующий формат ------------------------------- COLOR=Black ...
SafeModeException: имя узла находится в безопасном режиме
Я попытался скопировать файлы с моего локального диска вhdfs , Сначала это далоSafeModeException, При поиске решения я прочитал, что проблема не появляется, если снова выполнить ту же команду. Поэтому я попробовал еще раз, и это не стало ...
Доступ к файлам в распределенном кеше hadoop
Я хочу использовать распределенный кеш, чтобы позволить моим картостроителям получать доступ к данным. В основном я использую команду DistributedCache.addCacheFile(new URI("/user/peter/cacheFile/testCache1"), conf);Где / user / peter / cacheFile ...
Установка Hadoop Eclipse Plugin
У меня такой кошмар с плагином Hadoop's Eclipse. Прежде всего, последняя версия Hadoop (1.1.1) даже не включает файл jar плагина Eclipse. Версия 1.0.4 имеет плагин, но он не работает. Более ранние версии Hadoop, такие как 0.22.0, имеют плагин, и ...
Hive: создать таблицу и разделить по
У меня есть таблица с загруженными данными следующим образом: create table xyzlogTable (dateC string , hours string, minutes string, seconds string, TimeTaken string, Method string, UriQuery string, ProtocolStatus string) row format serde ...