Resultados da pesquisa a pedido "apache-pig"
Problema de esquema JsonLoader padrão do Pig
Eu tenho os dados abaixo que precisam ser analisados usando Pig Dados { "Name": "BBQ Chicken", "Sizes": [ { "Size": "Large", "Price": 14.99 }, { "Size": "Medium", "Price": 12.99 } ], "Toppings": [ "Barbecue Sauce", "Chicken", "Cheese" ] }Eu sou ...
Se eu tenho um construtor que requer um caminho para um arquivo, como posso "fingir" se ele estiver empacotado em um jar?
O contexto desta pergunta é que estou tentando usar o maxmind java api em um script do pig que escrevi ... Porém, não acho que seja necessário conhecer um deles para responder à pergunta. A API maxmind possui um construtor que requer um caminho ...
PIG - Interface encontrada org.apache.hadoop.mapreduce.JobContext, mas a classe era esperada
Eu estava tentando carregar uma mesa da colméia. Estou usando o Hcatalog para isso. Entrei na seção usando pig -useHCatalogeu exporto quase todos os frascos da colméia e do hadoop register ...
carregando corretamente datetime no porco
Estou carregando um arquivo tsv com uma coluna datetime e uma coluna longa com: A = LOAD 'tweets-clean.txt' USING PigStorage('\t') AS (date:datetime, userid:long); DUMP A;Um exemplo de linha de entrada: Tue Feb 11 05:02:10 +0000 2014 ...
Uso da função de classificação do Apache Pig
Estou usando a função de classificação Pig 0.11.0 e gerando classificações para cada ID nos meus dados. Preciso classificar meus dados de uma maneira específica. Quero que a classificação seja redefinida e inicie a partir de 1 para cada novo ...
SUBSTITUIR Script PIG com símbolo de pipe
Quero remover caracteres fora dos colchetes em linhas que se parecem com o seguinte. 35|{......}|Tirando o '35 | ' de frente e o '|' à direita do fim. {.....}Inicialmente trabalhando nos três primeiros caracteres, tento o seguinte, mas ele ...
Armazenando dados no SequenceFile do Apache Pig
Porco Apache pode carregar dados dos arquivos de sequência do Hadoop usando o PiggyBankSequenceFileLoader: REGISTER /home/hadoop/pig/contrib/piggybank/java/piggybank.jar; DEFINE SequenceFileLoader ...
Porco: número de controle dos mapeadores
Eu posso controlar o número de redutores usando a cláusula PARALLEL nas instruções que resultam em redutores. Eu quero controlar o número de mapeadores. A fonte de dados já está criada e não posso reduzir o número de partes na fonte de dados. É ...
Qual é a diferença entre GROUP e COGROUP no PIG?
Entendi que o Group não funcionava com várias tuplas e, portanto, tínhamos COGROUP no PIG. No entanto, enquanto verifica hoje o comando GROUP funciona para mim. Estou usando o PIG-0.12.0. Meus comandos e saídas são os seguintes. grunt> grpvar = ...
Construindo o Apache Pig para a versão Hadoop 2.4
Eu baixei o PIG 0.14 e fiz umaant -dhadoopversion = 23 jar, mas quando o usei no Hadoop 2.4, ele não está funcionando. Há algo que eu deva fazer além de apenas executar formiga? O porco está em execução, mas mostrando ...