Resultados da pesquisa a pedido "mapreduce"
O contêiner está executando além dos limites de memória
No Hadoop v1, atribuí cada slot de 7 mapeadores e redutores com tamanho de 1 GB, meus mapeadores e redutores funcionam bem. Minha máquina possui memória 8G, processador 8. Agora, com o YARN, ao executar o mesmo aplicativo na mesma máquina, recebi ...
hadoop mapreduce: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy () Z
Estou tentando escrever um arquivo de sequência compactada de blocos de snappy a partir de um trabalho de redução de mapa. Estou usando o hadoop 2.0.0-cdh4.5.0 e o snappy-java 1.0.4.1 Aqui está o meu código: package jinvestor.jhouse.mr; import ...
/ bin / bash: / bin / java: Esse arquivo ou diretório não existe
Eu estava tentando executar um programa MapReduce simples de contagem de palavras usando o Java 1.7 SDK e o Hadoop2.7.1 no Capitão Mac OS X EL 10.11 e estou recebendo a seguinte mensagem de erro no meu log de contêiner "stderr" / bin / bash: / ...
Classificando dados grandes usando o MapReduce / Hadoop
Estou lendo sobre o MapReduce e a seguinte coisa está me confundindo. Suponha que tenhamos um arquivo com 1 milhão de entradas (inteiros) e queremos classificá-las usando o MapReduce. O jeito que eu entendi é o seguinte: Escreva uma função de ...
Gravar em um blob do mecanismo de aplicativo de forma assíncrona e finalizá-lo quando todas as tarefas forem concluídas
Estou com um problema difícil. Estou iterando através de um conjunto de URLs parametrizados por data e buscando-os. Por exemplo, aqui está um exemplo de um: someebservice.com? start = 01-01-2012 & end = 01-10-2012 Às vezes, o conteúdo ...
Hadoop Job: Falha na tarefa de relatar o status por 601 segundos
Enquanto executa o trabalho hadoop no pseudonode, a tarefa falha e é morta. Erro: a tentativa de tarefa_ falha ao relatar o status por 601 segundos Mas o mesmo programa está sendo executado no Eclipse (trabalho local Task: existem cerca de ...
Quais são os prós e os contras de executar um trabalho no Hadoop usando vários idiomas?
Eu tenho usado o Pig ou Java para Map Reduce exclusivamente para executar tarefas em um cluster Hadoop até agora. Recentemente, experimentei usar o Python Map Reduce através do streaming do Hadoop e isso foi bem legal também. Tudo isso faz ...
identityreducer na nova API do Hadoop
Passei quase um dia, mas não consegui descobrir como usar o IdentityReducer na nova API do Hadoop. Todas as referências ou classes que posso encontrar estão com a API antiga. E, obviamente, misturar a antiga classe de identificação de API do ...
Porco vs Hive vs Mapa Nativo Reduce
Eu tenho uma compreensão básica sobre o que são abstrações de Pig, Hive. Mas não tenho uma ideia clara sobre os cenários que exigem que o Hive, Pig ou o mapa...