Resultados da pesquisa a pedido "hadoop"
O contêiner está executando além dos limites de memória
No Hadoop v1, atribuí cada slot de 7 mapeadores e redutores com tamanho de 1 GB, meus mapeadores e redutores funcionam bem. Minha máquina possui memória 8G, processador 8. Agora, com o YARN, ao executar o mesmo aplicativo na mesma máquina, recebi ...
Como usar o Hadoop InputFormats no Apache Spark?
Eu tenho aulaImageInputFormat no Hadoop, que lê imagens do HDFS. Como usar meu InputFormat no Spark? Aqui está o meuImageInputFormat: public class ImageInputFormat extends FileInputFormat<Text, ImageWritable> { @Override public ...
Hive - Existe uma maneira de otimizar ainda mais uma consulta HiveQL?
Escrevi uma consulta para encontrar os 10 aeroportos mais movimentados nos EUA de março a abril. Ele produz a saída desejada, no entanto, quero tentar otimizá-lo ainda mais. Existem otimizações específicas do HiveQL que podem ser aplicadas à ...
Problema de esquema JsonLoader padrão do Pig
Eu tenho os dados abaixo que precisam ser analisados usando Pig Dados { "Name": "BBQ Chicken", "Sizes": [ { "Size": "Large", "Price": 14.99 }, { "Size": "Medium", "Price": 12.99 } ], "Toppings": [ "Barbecue Sauce", "Chicken", "Cheese" ] }Eu sou ...
Versão Incompatibilidade entre o lote da primavera e o cloudera hadoop
Eu estava tentando o programa de contagem de palavras em lote da primavera e enfrentou um problema de versão como este: ERROR [org.springframework.batch.core.step.AbstractStep] - <Encountered an error executing the step> ...
Execute o trabalho do Hadoop sem usar o JobConf
Não consigo encontrar um único exemplo de envio de uma tarefa do Hadoop que não use a opção descontinuadaJobConf classe.JobClient, que não foi preterido, ainda suporta apenas métodos que levam umJobConf parâmetro. Alguém pode me indicar um ...
SemanticException no modo Hive Shell
exceção da colméia [https://i.stack.imgur.com/wfhIV.png] Instalei o Hadoop 3.0.0 e o Hive 2.3.1 no meu PC. Paralelamente eu instalei o mysql e trabalhei com comandos sql no modo sql shell e funcionando bem. Mas, ao executar consultas no modo de ...
Como o HBase habilita o Acesso aleatório ao HDFS?
Como o HBase é um banco de dados com seus arquivos armazenados no HDFS, como habilita o acesso aleatório a uma parte singular de dados no HDFS? Por qual método isso é realizado? Deo Guia de Referência do Apache ...
Exceção de classe não encontrada no trabalho de contagem de palavras Mapreduce
Estou tentando executar um trabalho de contagem de palavras no hadoop.mas sempre obtendo uma classe não encontrada exceção. Estou postando a classe que escrevi e o comando que estou usando para executar o trabalho import java.io.IOException; ...
Erro: java.io.IOException: classe de valor errado: class org.apache.hadoop.io.Text não é a classe Myclass
Eu tenho meu mapeador e redutores da seguinte maneira. Mas estou recebendo algum tipo de exceção estranha. Não consigo descobrir por que está lançando esse tipo de exceção. public static class MyMapper implements Mapper<LongWritable, Text, Text, ...