Resultados da pesquisa a pedido "apache-pig"
Porco: é possível escrever um loop sobre variáveis em uma lista?
Eu tenho que repetir mais de 30 variáveis em uma lista [var1,var2, ... , var30] e para cada variável eu uso algum PIGgroup by declaração como grouped = GROUP data by var1; data_var1 = FOREACH grouped{ GENERATE group as mygroup, COUNT(data) as ...
strsplit issue - Pig
Tenho a seguinte tupla H1 e quero dividir seus $ 0 em tupla.No entanto, sempre recebo uma mensagem de erro: DUMP H1: (item32;item31;,1) m = FOREACH H1 GENERATE STRSPLIT($0, ";", 50);ERROR 1000: Erro durante a análise. Erro lexical na linha 1, ...
Como você lida com arquivos de entrada vazios ou ausentes no Apache Pi
Nosso fluxo de trabalho usa um cluster elástico de redução de mapa da AWS para executar uma série de tarefas do Pig para manipular uma grande quantidade de dados em relatórios agregados. Infelizmente, os dados de entrada são potencialmente ...
xecutando a consulta do Pig sobre os dados armazenados no Hive
Gostaria de saber como executar consultas Pig armazenadas no formato Hive. Eu configurei o Hive para armazenar dados compactados (usando este ...
roblema de permissões do @Apache Pig
Estou tentando colocar o Apache Pig em funcionamento no cluster Hadoop e estou com um problema de permissão. O próprio Pig está iniciando e se conectando ao cluster muito bem - de dentro do shell do Pig, eu possols através e em volta dos meus ...
sando a cláusula IN com PIG FILTER
O PIG suporta a cláusula IN? filtered = FILTER bba BY reason not in ('a','b','c','d');ou devo dividi-lo em vários OR's? Obrigado
Filtre uma string com base em uma palavra
Tenho um trabalho de porco onde preciso filtrar os dados encontrando uma palavra nele, Aqui está o trecho A = LOAD '/home/user/filename' USING PigStorage(','); B = FOREACH A GENERATE $27,$38; C = FILTER B BY ( $1 == '*Word*'); STORE C INTO ...
Como faço para o Hadoop encontrar módulos Python importados ao usar UDFs Python no Pi
Estou usando Pig (0.9.1) com UDFs escritos em Python. Os scripts Python importam módulos da biblioteca padrão do Python. Consegui executar os scripts do Pig que chamam as UDFs do Python com êxito no modo local, mas quando executo no ...
Regex Java ou Pig para remover valores da string UserAgent
Preciso remover o terceiro e os valores subsequentes no componente 'entre parênteses' da sequência do agente do usuári Para obter Mozilla / 4.0 (compatível; MSIE 8.0) a partir d Mozilla / 4.0 (compatível; MSIE 8.0; Windows NT 6.0; Trident / ...
como carregar arquivos no cluster hadoop usando o apache pi
Tenho um script pig e preciso carregar arquivos do cluster hadoop local. Posso listar os arquivos usando o comando hadoop: hadoop fs –ls / repo / mydata, `mas quando tentei carregar arquivos no script pig, ele falhou. a instrução load ...