Результаты поиска по запросу "apache-pig"
Затем он выполняет окончательный сценарий свиньи. Я знаю, что это немного похоже на подход Рубе Голдберга, но пока все хорошо. :-)
ем рабочем процессе используется кластер с упругой картой AWS для запуска серии заданий Pig для манипулирования большим объемом данных в агрегированных отчетах. К сожалению, входные данные потенциально противоречивы и могут привести к тому, что ...
Невозможно построить копилку -> / home / build / ivy / lib не существует
ел бы знать, как выполнять запросы Pig, хранящиеся в формате Hive. Я настроил Hive для хранения сжатых данных (используя этот ...
Как выполнить DISTINCT в Pig Latin на подмножестве столбцов?
Я хотел бы выполнить операцию DISTINCT над подмножеством столбцов.документация [http://pig.apache.org/docs/r0.11.1/basic.html#distinct]говорит, что это возможно с вложенным foreach: Вы не можете использовать DISTINCT для подмножества полей; ...
Передача списка в Javascript UDF в Apache Pig
Если у меня есть множество вещей в Pig, вот так: datas = load './data.txt' using PigStorage( '\t'); list = load './frobdata.txt' using PigStorage();И я хочу передать их в UDF, вот так: register './enfrobinate.js' using javascript as frob; ...
больше информации
оддерживает предложение IN? filtered = FILTER bba BY reason not in ('a','b','c','d');или я должен разделить его на несколько ИЛИ? Спасибо!
создать этот каталог.
аюсь запустить Apache Pig на своем кластере Hadoop и столкнулся с проблемой разрешений. Сама Pig запускается и подключается к кластеру просто из оболочки Pig, я могуls через и вокруг моих каталогов HDFS. Однако, когда я пытаюсь загрузить данные и ...
латинская сумка для свиней
У меня есть следующие данные со схемой(t0: chararray,t1: int,t2: int) (B,4,2) (A,2,3) (A,3,2) (B,2,2) (A,1,2) (B,1,2)Я хотел бы получить следующие результаты (сгруппировать по t0 и упорядочить по t1) (A, ((1,2),(2,3),(3,2))) (B, ...
Фильтровать строку на основе слова
У меня есть свиная работа, где мне нужно отфильтровать данные, найдя в них слово, Вот фрагмент A = LOAD '/home/user/filename' USING PigStorage(','); B = FOREACH A GENERATE $27,$38; C = FILTER B BY ( $1 == '*Word*'); STORE C INTO ...
Как заставить Hadoop находить импортированные модули Python при использовании пользовательских функций Python в Pig?
Я использую Pig (0.9.1) с UDF, написанными на Python. Скрипты Python импортируют модули из стандартной библиотеки Python. Мне удалось запустить сценарии Pig, которые успешно вызывают пользовательские функции Python в локальном режиме, но когда я ...
Java или Pig регулярное выражение для удаления значений из строки UserAgent
Мне нужно вычеркнуть третье и последующие значения в «заключенном в скобки» компоненте строки агента пользователя. Чтобы получить Mozilla / 4.0 (совместимо; MSIE 8.0) из Mozilla / 4.0 (совместимо; MSIE 8.0; Windows NT 6.0; Trident / 4.0; ...