Resultados da pesquisa a pedido "mapreduce"
DiskErrorException na máquina escrava - multinode Hadoop
Eu estou tentando processar arquivos XML do hadoop, eu tenho seguinte erro em invocar o trabalho de contagem de palavras em arquivos XML.
Lendo arquivo como registro único no hadoop
Eu tenho enorme não. de arquivos pequenos, eu quero usar CombineFileInputFormat para mesclar os arquivos de modo que cada arquivo de dados venha como um únic...
Porco vs Hive vs Mapa Nativo Reduce
Eu tenho uma compreensão básica sobre o que são abstrações de Pig, Hive. Mas não tenho uma ideia clara sobre os cenários que exigem que o Hive, Pig ou o mapa...
Como definir um redutor para emitir <Text, IntWritable> e um mapeador para receber <Text, IntWritable>?
Estou desenvolvendo algum código emhadoopcommapreduzirque usadois mapeadores e dois redutores.Foi-me dito para usarSequenceFileInputFormate SequenceFileOutputFormatpara que a saída do primeiro redutor e a entrada do segundo mapeador funcionem ...
Como implementar o tipo no hadoop?
Meu problema é classificar valores em um arquivo. chaves e valores são números inteiros e precisam manter as chaves dos valores classificados.
Mapa reduz trabalho ficando preso no mapa 0% reduz 0%
Estou executando o famoso exemplo de contagem de palavras. Eu tenho uma configuração local e prod hadoop. O mesmo exemplo está trabalhando em prod, mas não e...
Estender SequenceFileInputFormat para incluir o nome do arquivo + deslocamento
Eu gostaria de ser capaz de criar um InputFormat personalizado que lê arquivos de seqüência, mas adicionalmente expõe o caminho do arquivo e deslocamento den...