Resultados da pesquisa a pedido "mapreduce"
Gravar em um blob do mecanismo de aplicativo de forma assíncrona e finalizá-lo quando todas as tarefas forem concluídas
Estou com um problema difícil. Estou iterando através de um conjunto de URLs parametrizados por data e buscando-os. Por exemplo, aqui está um exemplo de um: someebservice.com? start = 01-01-2012 & end = 01-10-2012 Às vezes, o conteúdo ...
Hadoop performance
Instalei o hadoop 1.0.0 e experimentei o exemplo de contagem de palavras (cluster de nó único). Demorou 2m 48s para concluir. Então tentei o programa padrão de contagem de palavras linux, que é executado em 10 milissegundos no mesmo conjunto ...
Hadoop Job: Falha na tarefa de relatar o status por 601 segundos
Enquanto executa o trabalho hadoop no pseudonode, a tarefa falha e é morta. Erro: a tentativa de tarefa_ falha ao relatar o status por 601 segundos Mas o mesmo programa está sendo executado no Eclipse (trabalho local Task: existem cerca de ...
Escrevendo o código MApreduce para contar o número de registros
Quero escrever um código de mapreduce para contar o número de registros em determinado arquivo CSV. Não estou entendendo o que fazer no mapa e o que fazer para reduzir como devo resolver isso alguém pode sugerir algo?
Limite de memória atingido com appengine-mapreduce
Estou trabalhando na função appengine-mapreduce e modifiquei a demonstração para atender meu objetivo. Basicamente, tenho um milhão de linhas no seguinte formato: userid, time1, time2. Meu objetivo é encontrar a diferença entre time1 e time2 ...
Como especificar configurações mapred e opções de java com jar personalizado na CLI usando o EMR da Amazo
Gostaria de saber como especificar configurações de mapreduce como mapred.task.timeout, mapred.min.split.size etc., ao executar um trabalho de streaming usando jar personalizad Podemos usar a seguinte maneira de especificar essas ...
ntradas Múltiplas com MRJ
Estou tentando aprender a usar a API Python do Yelp para MapReduce, MRJob. O exemplo simples de contador de palavras faz sentido, mas estou curioso para saber como lidar com um aplicativo que envolve várias entradas. Por exemplo, em vez de ...
Saída Múltipla no Redutor
Estou trabalhando no programa simples de redução de mapas. Quero criar arquivos diferentes após o redutor para cada palavra diferente na chave. Por exemplo, depois de executar o Mapreduce, tenho algo como Prioridade1 x 2 Prioridade1 e 2 ...
Como escrever trabalhos hadoop 'somente mapa'?
Sou iniciante no hadoop, estou me familiarizando com o estilo de programação de redução de mapa, mas agora enfrentei um problema: Às vezes, preciso apenas de mapa para um trabalho e só preciso do resultado do mapa diretamente como saída, o que ...
Parar arquivos PDF no mapa do Hadoop Reduce
Tenho que analisar arquivos PDF, que estão no HDFS em um programa de redução de mapa no Hadoop. Então, eu recebo o arquivo PDF do HDFS comoInput splits e deve ser analisado e enviado para a classe Mapper. Para implementar este InputFormat, eu ...