Resultados da pesquisa a pedido "mapreduce"
Como o Hive decide quando usar o mapa reduzido e quando não usar?
Como um exemplo simples, select * from tablename; NÃO entra no mapa reduzir, enquanto select count(*) from tablename;FAZ. Qual é o princípio geral usado para decidir quando usar a redução de mapa (por seção)?
mongodb: como depurar o mapa / reduzir no shell mongodb
Sou novo no MongoDB, estou usando o mapa / reduzir. Alguém pode me dizer como depurar enquanto estiver usando o mapa / reduzir? Eu usei a função "print ()", mas no shell do MongoDB, nada é impresso. A seguir, minha função de redução: var reduce ...
Como extrair dados nas funções Map / Reduc
De acordo comHadoop: O Guia Definitivo [http://shop.oreilly.com/product/0636920010388.do]. A nova API suporta os estilos de iteração "push" e "pull". Nas duas APIs, os pares de registros de valor-chave são enviados ao mapeador, mas, além disso, ...
MapReduceBase e Mapper foram preteridos
public static class Map extends MapReduceBase implements MapperMapReduceBase, Mapper eJobConf estão obsoletos emHadoop 0.20.203. O que devemos usar agora? Editar 1 - para oMapper e aMapReduceBase, Descobri que só precisamos ...
Cluster do Hadoop - Preciso replicar meu código em todas as máquinas antes de executar o trabalh
Isso é o que me confunde, quando eu uso o exemplo de contagem de palavras, eu mantenho o código no mestre e deixo que ele faça coisas com os escravos e ele funciona bem Mas quando estou executando meu código, ele começa a falhar nos ...
hadoop streaming: como ver os logs do aplicativo?
Posso ver todos os logs do hadoop no meu/usr/local/hadoop/logs path mas onde posso ver os logs no nível do aplicativo? por exemplo mapper.py import logging def main(): logging.info("starting map task now") // -- do some task -- // print ...
A serialização usando ArrayWritable parece funcionar de uma maneira engraçada
Eu estava trabalhando comArrayWritable, em algum momento eu precisava verificar como o Hadoop serializa oArrayWritable, foi o que obtive ao definirjob.setNumReduceTasks(0): 0 IntArrayWritable@10f11b8 3 IntArrayWritable@544ec1 6 ...
Como personalizar a classe Gravável no Hadoop?
Estou tentando implementar a classe gravável, mas não tenho idéia de como implementar uma classe gravável se na minha classe houver objeto aninhado, como lista, etc. Alguém poderia me ajudar? obrigad public class StorageClass implements ...
aneiras diferentes de configurar a memória para o processo filho do TaskTracker (Mapeador e Reduzir Tarefa
Qual é a diferença entre definir o mapred.job.map.memory.mb [https://issues.apache.org/jira/browse/HADOOP-5881] e mapred.child.java.opts [http://hadoop.apache.org/common/docs/current/mapred-default.html] usando -Xmx para controlar o máximo de ...
Grupo e conte no MongoDB
Estou tentando agrupar e contar a quantidade de elementos para cada grupo no mongodb 2.0.1, mas sem sucesso até agor esquema @My DB se parece com: { "_id" : ObjectId("4ece7544853b4b0941000000"), "ResultSet" : { "Results" : [ { "quality" : 87, ...