Resultados da pesquisa a pedido "mapreduce"

2 a resposta

Utilização completa de todos os núcleos no modo pseudo-distribuído do Hadoop

Estou executando uma tarefa no modo pseudo-distribuído no meu laptop de 4 núcleos. Como posso garantir que todos os núcleos sejam efetivamente usados. Atualmente, meu rastreador de tarefas mostra que apenas uma tarefa está sendo executada por ...

4 a resposta

Como remover um registro duplicado no MongoDB pelo MapReduc

Tenho uma coleção muito grande no MongoDB e quero remover o registro duplicado dessa coleção. Meu primeiro pensamento vem à minha mente é descartar o índice e reconstruí-lo com dropDups. No entanto, os dados duplicados são muitos para serem ...

3 a resposta

Como alterar a estrutura dos resultados de redução de mapa do MongoDB?

Quando estou executando o Map-Reduce em um banco de dados Mongo, geralmente obtenho resultados semelhantes aos seguintes: { _id: <some-id>, value: { <first-key>: <first-value>, ... } } Existe uma maneira de omitir ovalue: { ... } parte e insira ...

1 a resposta

Classe de chave incorreta: o texto não é IntWritable

Isso pode parecer uma pergunta estúpida, mas não vejo o problema nos meus tipos no meu código de mapreduce para hadoop omo afirmado na pergunta, o problema é que ele está esperando IntWritable, mas estou passando um objeto Text no ...

3 a resposta

No Hadoop, onde a estrutura salva a saída da tarefa Mapa em um aplicativo Map-Reduce norma

Estou tentando descobrir onde a saída de uma tarefa de Mapa é salva no disco antes de poder ser usada por uma tarefa de Reduçã Nota - a versão usada é o Hadoop 0.20.204 com a nova API Por exemplo, ao substituir o método de mapa na classe ...

2 a resposta

classe @Hadoop JobConf está obsoleta, precisa de um exemplo atualizado

Estou escrevendo programas hadoop, e realmente não quero brincar com aulas obsoletas. Em qualquer lugar on-line, não consigo encontrar programas com org.apache.hadoop.conf.Configuration class insted de ...

5 a resposta

MapReduce alternativas

Existem paradigmas alternativos para o MapReduce (Google, Hadoop)? Existe outra maneira razoável de dividir e mesclar grandes problemas?

3 a resposta

Hadoop: como acessar (muitas) imagens fotográficas a serem processadas por mapa / redução?

Tenho mais de 10 milhões de fotos salvas no sistema de arquivos local. Agora eu quero passar por cada um deles para analisar o binário da foto para ver se é um cachorro. Eu basicamente quero fazer a análise em um ambiente hadoop em cluster. O ...

1 a resposta

Hadoop: Exemplo de processo para gerar um SequenceFile com binários de imagem a serem processados no mapa / reduzir

SegueHadoop: como acessar (muitas) imagens fotográficas a serem processadas por mapa / redução? [https://stackoverflow.com/questions/8752772/hadoop-how-to-access-many-photo-images-to-be-processed-by-map-reduce] pergunta, onde ...

2 a resposta

hadoop convertendo \ r \ n para \ n e quebrando o formato ARC

Estou tentando analisar dados do commoncrawl.org usando o hadoop streaming. Eu configurei um hadoop local para testar meu código e tenho um mapeador Ruby simples que usa um leitor ARCfile de streaming. Quando invoco meu código como cat ...