Resultados da pesquisa a pedido "mapreduce"
Utilização completa de todos os núcleos no modo pseudo-distribuído do Hadoop
Estou executando uma tarefa no modo pseudo-distribuído no meu laptop de 4 núcleos. Como posso garantir que todos os núcleos sejam efetivamente usados. Atualmente, meu rastreador de tarefas mostra que apenas uma tarefa está sendo executada por ...
Como remover um registro duplicado no MongoDB pelo MapReduc
Tenho uma coleção muito grande no MongoDB e quero remover o registro duplicado dessa coleção. Meu primeiro pensamento vem à minha mente é descartar o índice e reconstruí-lo com dropDups. No entanto, os dados duplicados são muitos para serem ...
Como alterar a estrutura dos resultados de redução de mapa do MongoDB?
Quando estou executando o Map-Reduce em um banco de dados Mongo, geralmente obtenho resultados semelhantes aos seguintes: { _id: <some-id>, value: { <first-key>: <first-value>, ... } } Existe uma maneira de omitir ovalue: { ... } parte e insira ...
Classe de chave incorreta: o texto não é IntWritable
Isso pode parecer uma pergunta estúpida, mas não vejo o problema nos meus tipos no meu código de mapreduce para hadoop omo afirmado na pergunta, o problema é que ele está esperando IntWritable, mas estou passando um objeto Text no ...
No Hadoop, onde a estrutura salva a saída da tarefa Mapa em um aplicativo Map-Reduce norma
Estou tentando descobrir onde a saída de uma tarefa de Mapa é salva no disco antes de poder ser usada por uma tarefa de Reduçã Nota - a versão usada é o Hadoop 0.20.204 com a nova API Por exemplo, ao substituir o método de mapa na classe ...
classe @Hadoop JobConf está obsoleta, precisa de um exemplo atualizado
Estou escrevendo programas hadoop, e realmente não quero brincar com aulas obsoletas. Em qualquer lugar on-line, não consigo encontrar programas com org.apache.hadoop.conf.Configuration class insted de ...
MapReduce alternativas
Existem paradigmas alternativos para o MapReduce (Google, Hadoop)? Existe outra maneira razoável de dividir e mesclar grandes problemas?
Hadoop: como acessar (muitas) imagens fotográficas a serem processadas por mapa / redução?
Tenho mais de 10 milhões de fotos salvas no sistema de arquivos local. Agora eu quero passar por cada um deles para analisar o binário da foto para ver se é um cachorro. Eu basicamente quero fazer a análise em um ambiente hadoop em cluster. O ...
Hadoop: Exemplo de processo para gerar um SequenceFile com binários de imagem a serem processados no mapa / reduzir
SegueHadoop: como acessar (muitas) imagens fotográficas a serem processadas por mapa / redução? [https://stackoverflow.com/questions/8752772/hadoop-how-to-access-many-photo-images-to-be-processed-by-map-reduce] pergunta, onde ...
hadoop convertendo \ r \ n para \ n e quebrando o formato ARC
Estou tentando analisar dados do commoncrawl.org usando o hadoop streaming. Eu configurei um hadoop local para testar meu código e tenho um mapeador Ruby simples que usa um leitor ARCfile de streaming. Quando invoco meu código como cat ...