Resultados da pesquisa a pedido "mapreduce"
Por que minha implementação modificada (haskell do mundo real) Mapreduce falha com “Muitos arquivos abertos”
Estou implementando um programa haskell que compara cada linha de um arquivo com a outra linha do arquivo. Por simplicidade, vamos assumir que a estrutura de dados representada por uma linha é apenas um Int, e meu algoritmo é a distância ao ...
Removendo registros duplicados usando o MapReduce
Estou usando o MongoDB e preciso remover registros duplicados. Eu tenho uma coleção de listagem com a seguinte aparência: (simplificada) [ { "MlsId": "12345"" }, { "MlsId": "12345" }, { "MlsId": "23456" }, { "MlsId": "23456" }, { "MlsId": "0" ...
MongoDB MapReduce bloqueia o banco de dados
Um trabalho do MongoDB MapReduce bloqueia o banco de dados? Estou desenvolvendo um aplicativo da web MongoDB para vários usuários e estou preocupado com conflitos e desempenho com vários usuários. Alguém tem alguma palavra de sabedoria para mim?
Lendo programaticamente a saída do Programa Hadoop Mapreduce
Essa pode ser uma pergunta básica, mas não consegui encontrar uma resposta para ela no Google. Tenho um trabalho de redução de mapa que cria vários arquivos de saída em seu diretório de saída. Meu aplicativo Java executa esse trabalho em um ...
Como obter o nome do arquivo / conteúdo do arquivo como entrada de chave / valor para o MAP ao executar uma tarefa Hadoop MapReduce?
Estou criando um programa para analisar arquivos PDF, DOC e DOCX. Esses arquivos são armazenados no HDFS. Quando inicio meu trabalho no MapReduce, desejo que a função map tenha o nome do arquivo como chave e o conteúdo binário como valor. ...
Como corrigir "A tentativa de tarefa_201104251139_0295_r_000006_0 falhou ao relatar o status por 600 segundos."
Eu escrevi um trabalho de mapreduce para extrair algumas informações de um conjunto de dados. O conjunto de dados é a classificação dos usuários sobre filmes. O número de usuários é de cerca de 250 mil e o número de filmes é de cerca de 300 mil. ...
Iniciar operação com o MongoDB MapReduce
Eu já usei o MapReduce antes para executar a operação clássica de MR, o equivalente a GROUP BY no SQ Eu estava pensando se seria conceitualmente possível executar uma operação JOIN com o MapReduce. Alguma idéia de como isso poderia ser ...
Exemplo de contador simples usando mapreduce no Google App Engine
Estou um pouco confuso com o estado atual do suporte de mapreduce no GAE. De acordo com os documentoshttp: //code.google.com/p/appengine-mapreduce [http://code.google.com/p/appengine-mapreduce/] fase de redução ainda não é suportada, mas na ...
Configurar a junção lateral do mapa para vários mapeadores no Hadoop Map / Reduce
Tenho uma pergunta sobre a configuração da junção interna Mapa / Lateral para vários mapeadores no Hadoop. Suponha que eu tenha dois conjuntos de dados muito grandes A e B, use a mesma partição e algoritmo de classificação para dividi-los em ...
unções definidas pelo usuário do @Mongo e mapa reduzido
Existe uma maneira no mongo de criar funções Javascript definidas pelo usuário. Eu tenho várias funções Map / Reduce no lado do cliente que eu gostaria de usar em outras funções MR. Por exemplo, várias funções MR calculam todos os tipos de ...