Resultados da pesquisa a pedido "hadoop"

6 a resposta

O contêiner está executando além dos limites de memória

No Hadoop v1, atribuí cada slot de 7 mapeadores e redutores com tamanho de 1 GB, meus mapeadores e redutores funcionam bem. Minha máquina possui memória 8G, processador 8. Agora, com o YARN, ao executar o mesmo aplicativo na mesma máquina, recebi ...

2 a resposta

Como usar o Hadoop InputFormats no Apache Spark?

Eu tenho aulaImageInputFormat no Hadoop, que lê imagens do HDFS. Como usar meu InputFormat no Spark? Aqui está o meuImageInputFormat: public class ImageInputFormat extends FileInputFormat<Text, ImageWritable> { @Override public ...

4 a resposta

Hive - Existe uma maneira de otimizar ainda mais uma consulta HiveQL?

Escrevi uma consulta para encontrar os 10 aeroportos mais movimentados nos EUA de março a abril. Ele produz a saída desejada, no entanto, quero tentar otimizá-lo ainda mais. Existem otimizações específicas do HiveQL que podem ser aplicadas à ...

1 a resposta

Problema de esquema JsonLoader padrão do Pig

Eu tenho os dados abaixo que precisam ser analisados usando Pig Dados { "Name": "BBQ Chicken", "Sizes": [ { "Size": "Large", "Price": 14.99 }, { "Size": "Medium", "Price": 12.99 } ], "Toppings": [ "Barbecue Sauce", "Chicken", "Cheese" ] }Eu sou ...

1 a resposta

Versão Incompatibilidade entre o lote da primavera e o cloudera hadoop

Eu estava tentando o programa de contagem de palavras em lote da primavera e enfrentou um problema de versão como este: ERROR [org.springframework.batch.core.step.AbstractStep] - <Encountered an error executing the step> ...

5 a resposta

Execute o trabalho do Hadoop sem usar o JobConf

Não consigo encontrar um único exemplo de envio de uma tarefa do Hadoop que não use a opção descontinuadaJobConf classe.JobClient, que não foi preterido, ainda suporta apenas métodos que levam umJobConf parâmetro. Alguém pode me indicar um ...

1 a resposta

SemanticException no modo Hive Shell

exceção da colméia [https://i.stack.imgur.com/wfhIV.png] Instalei o Hadoop 3.0.0 e o Hive 2.3.1 no meu PC. Paralelamente eu instalei o mysql e trabalhei com comandos sql no modo sql shell e funcionando bem. Mas, ao executar consultas no modo de ...

2 a resposta

Como o HBase habilita o Acesso aleatório ao HDFS?

Como o HBase é um banco de dados com seus arquivos armazenados no HDFS, como habilita o acesso aleatório a uma parte singular de dados no HDFS? Por qual método isso é realizado? Deo Guia de Referência do Apache ...

8 a resposta

Exceção de classe não encontrada no trabalho de contagem de palavras Mapreduce

Estou tentando executar um trabalho de contagem de palavras no hadoop.mas sempre obtendo uma classe não encontrada exceção. Estou postando a classe que escrevi e o comando que estou usando para executar o trabalho import java.io.IOException; ...

1 a resposta

Erro: java.io.IOException: classe de valor errado: class org.apache.hadoop.io.Text não é a classe Myclass

Eu tenho meu mapeador e redutores da seguinte maneira. Mas estou recebendo algum tipo de exceção estranha. Não consigo descobrir por que está lançando esse tipo de exceção. public static class MyMapper implements Mapper<LongWritable, Text, Text, ...