Resultados da pesquisa a pedido "mapreduce"
Erro no MapReduce do Hadoop
Quando executo um programa mapreduce usando o Hadoop, obtenho o seguinte erro. 10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED java.io.IOException: Task process exit with nonzero status of ...
como usar mapreduce no subdocumento de consulta mongoose / mongodb?
Eu implementei um sistema de mensagens simples no mongoose / mongodb, o esquema é como o seguinte var schema = new mongoose.Schema({ user: {type:String, required:true}, updated: {type:Date, default:new Date()}, msgs: [ {m:String, // message ...
O contêiner está executando além dos limites de memória
No Hadoop v1, atribuí cada slot de 7 mapeadores e redutores com tamanho de 1 GB, meus mapeadores e redutores funcionam bem. Minha máquina possui memória 8G, processador 8. Agora, com o YARN, ao executar o mesmo aplicativo na mesma máquina, recebi ...
Execute o trabalho do Hadoop sem usar o JobConf
Não consigo encontrar um único exemplo de envio de uma tarefa do Hadoop que não use a opção descontinuadaJobConf classe.JobClient, que não foi preterido, ainda suporta apenas métodos que levam umJobConf parâmetro. Alguém pode me indicar um ...
Encontre a contagem máxima de registros consecutivos com base em um campo no Mongodb Query
Quero encontrar a contagem máxima de registros consecutivos com base em um campo específico. Minhasdb.people A coleção após encontrar a classificação com base no campo é: > db.people.find().sort({ updated_at: 1}) { "_id" : 1, "name" : "aaa", ...
Qual é o número ideal de redutores no Hadoop?
Conforme fornecido pelo wiki do Hadoop, para calcular o número ideal de redutores é 0,95 ou 1,75 * (nós * mapred.tasktracker.tasks.maximum) masquando escolher 0,95 e quando 1,75? qual é o fator que considerou ao decidir esse multiplicador?
hadoop mapreduce: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy () Z
Estou tentando escrever um arquivo de sequência compactada de blocos de snappy a partir de um trabalho de redução de mapa. Estou usando o hadoop 2.0.0-cdh4.5.0 e o snappy-java 1.0.4.1 Aqui está o meu código: package jinvestor.jhouse.mr; import ...
Como acessar os contadores do Mapper / Reducer no estágio Output?
Eu tenho alguns contadores que criei na minha classe Mapper: (exemplo escrito usando a biblioteca Java appengine-mapreduce v.0.5) @Override public void map(Entity entity) { getContext().incrementCounter("analyzed"); if ...
Por que um bloco no HDFS é tão grande?
Alguém pode explicar esse cálculo e dar uma explicação lúcida? Um cálculo rápido mostra que, se o tempo de busca for em torno de 10 ms e a taxa de transferência for de 100 MB / s, para tornar o tempo de busca em 1% do tempo de transferência, ...
Exportar registros do armazenamento de dados NDB para o arquivo CSV do Cloud Storage
No meu NDB Datastore, tenho mais de 2 milhões de registros. Quero exportar esses registros agrupados porcreated_at data em arquivos CSV no Google Cloud Storage. Calculei que todos os arquivos teriam cerca de 1 GB. 2014-03-18.csv, ~17000 records, ...