Resultados da pesquisa a pedido "mapreduce"
A manipulação de erros no mapa hadoop reduz
Com base na documentação, existem algumas maneiras de reduzir o tratamento de erros no mapa. Abaixo estão alguns: uma. Contadores personalizados usando enum - incremento para cada registro com falha. b. Registre o erro e analise mais tarde. Os ...
Hadoop 1.2.1 - cluster multinode - A fase do redutor trava para o programa Wordcount?
Minha pergunta pode parecer redundante aqui, mas a solução para as perguntas anteriores foi ad-hoc. poucos eu tentei, mas ainda não tive sorte. Na verdade, estou trabalhando no hadoop-1.2.1 (no ubuntu 14), inicialmente tive configuração de nó ...
Hadoop - Ajuda necessária para entender as etapas de processamento
Eu tenho um arquivo compactado e contém 8 arquivos xml de tamanho 5-10kb. Peguei esses dados para fins de teste. Eu escrevi um programa apenas de mapa para descompactar o arquivo compactado. Euwrote program in MR2 and using Hadoop 2.7.1 in psuedo ...
Como os contêineres são criados com base em vcores e memória no MapReduce2?
Eu tenho um pequeno cluster composto de 1 mestre (namenode, secundárionamenode, resourcemanager) e 2 escravos (datanode, nodemanager). Eu configurei no yarn-site.xml do master: yarn.scheduler.minimum-allocation-mb : ...
Oozie> Ação Java> por que a propriedade oozie.launcher.mapred.child.java.opts não funciona
Estou trabalhando no Oozie com uma ação Java. A ação Java deve usar a opção Java -Xmx15g. Assim, defino a propriedade oozie.mapreduce.map.memory.mb como 25600 (25G), caso seja necessária alguma memória extra. Após essa configuração simples, ...
O que é um arquivo de sequência no hadoop?
Eu sou novo no Redutor de mapas e quero entender o que é a entrada de dados do arquivo de sequência? Estudei no livro Hadoop, mas era difícil para mim entender.
Oozie: Iniciar o Map-Reduce da ação Oozie <java>?
Estou tentando executar uma tarefa Map-Reduce em um fluxo de trabalho Oozie usando um<java> açao. O'Reilley'sApache Oozie (Islam e Srinivasan 2015) observa que: Embora não seja recomendado, a ação Java pode ser usada para executar tarefas ...
Resultados inesperados no Spark MapReduce
Eu sou novo no Spark e quero entender como o MapReduce é realizado sob o capô para garantir que eu o use corretamente.Esta postagem [https://stackoverflow.com/a/32520848/5880417]forneceu uma ótima resposta, mas meus resultados parecem não seguir ...
Qual é a maneira mais eficiente de fazer uma redução classificada no PySpark?
Estou analisando os registros de desempenho pontual dos voos domésticos nos EUA a partir de 2015. Preciso agrupar por número da cauda e armazenar uma lista ordenada por data de todos os voos para cada número da cauda em um banco de dados, a serem ...
Como serializar objetos no hadoop (no HDFS)
Eu tenho um HashMap <String, ArrayList <Integer>>. Quero serializar meu objeto HashMap (hmap) para o local do HDFS e depois desserializá-lo no Mapper e Reducers para usá-lo. Para serializar meu objeto HashMap no HDFS, usei o código normal de ...