Результаты поиска по запросу "hadoop"
причины могут быть:
исал задание mapreduce для извлечения некоторой информации из набора данных. Набор данных - это рейтинг пользователей о фильмах. Количество пользователей составляет около 250 тыс., А количество фильмов около 300 тыс. Вывод карты<user, <movie, ...
Исключение при отправке задания maprecece из удаленной системы
Я получил исключение при отправке задания mapreduce из удаленной системы 13/10/28 18:49:52 ОШИБКА security.UserGroupInformation: PriviledgedActionException as: корневая причина: org.apache.hadoop.mapred.InvalidInputException: Путь ввода не ...
Не удалось инициализировать исключение кластера во время выполнения задания в Hadoop 2
Вопрос связан с моим предыдущим вопросом [https://stackoverflow.com/a/19571962/915751]Все демоны запущены, jps показывает: 6663 JobHistoryServer 7213 ResourceManager 9235 Jps 6289 DataNode 6200 NameNode 7420 NodeManagerноwordcount Пример ...
HIVE вложенный массив в типе данных MAP
У меня таблица HIVE структурирована так: Create table test_stg(employee_id INT, name STRING, abu ARRAY <String>, sabu MAP <String, ARRAY<INT>) row format delimited fields terminated by '|' collection items terminated by '/' map keys terminated ...
Проблема была исправлена, когда я следовал инструкции Томаса Юнгблута: я удалил свой главный узел из файла конфигурации ведомых устройств. После этого ошибки исчезли, и пример WordCount занял всего 1 минуту.
ользую Hadoop в течение последней недели или около того (пытаясь справиться с этим), и хотя мне удалось настроить многоузловой кластер (2 машины: 1 ноутбук и небольшой рабочий стол) и получать результаты, я всегда Кажется, что я сталкиваюсь с ...
Это выглядит в точности как принятый ответ.
учаю итератор в качестве аргумента, и я хотел бы перебрать значения дважды. public void reduce(Pair<String,String> key, Iterator<IntWritable> values, Context context)Является ли это возможным ? Как ? Подпись наложена используемой мной структурой ...
Как прервать работу MR внутри картографа (или редуктора)
Я попытался выбросить IOException в методе map, но работа MR не была остановлена. Работа будет остановлена после тонны IOException. Есть ли способ остановить всю работу, просто бросив исключение или несколько простых вызовов? Благодарю.
Команда Hive для выполнения предложения NOT IN
У меня есть две таблицы, tab1 и tab2. tab1(T1) tab2(T2) a1 b1 b1 c1 c1 f1 d1 g1Я ищу значения из таблицы T1, которых нет в T2. В этом случае вывод должен бытьa1 d1 Я попытался с помощью следующего запроса, но не смог найти правильное ...
Автоматизация Hive Activity с использованием aws
Я хотел бы автоматизировать мой скрипт улья каждый день, для этого у меня есть опция, которая представляет собой конвейер данных. Но проблема в том, что я экспортирую данные из динамо-db в s3, и с помощью скрипта улья я манипулирую этими данными. ...
В чем разница между разбиением и группированием таблицы в Hive?
Я знаю, что оба выполняются для столбца в таблице, но как каждая операция отличается.