Resultados da pesquisa a pedido "mapreduce"
Como o hadoop decide quantos nós mapeará e reduzirá as tarefas
Eu sou novo no hadoop e estou tentando entender. Estou falando do hadoop 2. Quando tenho um arquivo de entrada que gostaria de fazer um MapReduce, no programa MapReduce digo o parâmetro do Split, para que ele execute tantas tarefas de mapa quanto ...
Implementação do combinador e trabalho interno
Quero usar um combinador no meu código de RM, como WordCount. Como devo implementá-lo? Que tipo de dados está sendo passado ao combinador para o redutor? Será ótimo se algum de vocês puder me fornecer códigos do Combiner e do Redutor. Será ...
/ bin / bash: / bin / java: Esse arquivo ou diretório não existe
Eu estava tentando executar um programa MapReduce simples de contagem de palavras usando o Java 1.7 SDK e o Hadoop2.7.1 no Capitão Mac OS X EL 10.11 e estou recebendo a seguinte mensagem de erro no meu log de contêiner "stderr" / bin / bash: / ...
Oozie> Ação Java> por que a propriedade oozie.launcher.mapred.child.java.opts não funciona
Estou trabalhando no Oozie com uma ação Java. A ação Java deve usar a opção Java -Xmx15g. Assim, defino a propriedade oozie.mapreduce.map.memory.mb como 25600 (25G), caso seja necessária alguma memória extra. Após essa configuração simples, ...
Executando um aplicativo Hadoop independente em vários núcleos da CPU
Minha equipe criou um aplicativo Java usando as bibliotecas do Hadoop para transformar vários arquivos de entrada em saída útil. Dada a carga atual, um único servidor multicore se sairá bem no próximo ano. Ainda não precisamos de um cluster ...
O que é um arquivo de sequência no hadoop?
Eu sou novo no Redutor de mapas e quero entender o que é a entrada de dados do arquivo de sequência? Estudei no livro Hadoop, mas era difícil para mim entender.
Oozie: Iniciar o Map-Reduce da ação Oozie <java>?
Estou tentando executar uma tarefa Map-Reduce em um fluxo de trabalho Oozie usando um<java> açao. O'Reilley'sApache Oozie (Islam e Srinivasan 2015) observa que: Embora não seja recomendado, a ação Java pode ser usada para executar tarefas ...
Número padrão de redutores
No Hadoop, se não tivermos definido o número de redutores, quantos serão criados? O número de mapeadores depende de(tamanho total dos dados) / (tamanho da divisão de entrada), Por exemplo. se o tamanho dos dados for 1 TB e o tamanho da ...
iterador de manipulação em mapreduce
Estou tentando encontrar a soma de quaisquer pontos usando o hadoop. O problema que estou enfrentando é obter todos os valores de uma determinada chave em um único redutor. Se parece com isso. Redutor: public static class Reduce extends ...
MultipleOutputFormat no hadoop
Sou novato no Hadoop. Estou testando o programa Wordcount. Agora, para experimentar vários arquivos de saída, eu usoMultipleOutputFormat. esse link me ajudou a ...