Resultados da pesquisa a pedido "mapreduce"
Hadoop: Fornece o diretório como entrada para o trabalho do MapReduce
Estou usando o Cloudera Hadoop. Eu sou capaz de executar o programa mapreduce simples onde eu forneço um arquivo como entrada para o programa MapReduce.Este ...
YarnException: solicitação não autorizada para iniciar o contêiner
Eu configurei hadoop2.2.0 em 3 clusters. Tudo está indo bem. NodeManager e Datanode são iniciados em cada cluster. Mas, quando eu executo o exemplo wordcount...
Hadoop Streaming: Mapeador 'encapsulando' um executável binário
Eu tenho um pipeline que atualmente corro em um grande cluster de computadores da universidade. Para fins de publicação, gostaria de convertê-lo para o formato mapreduce, para que ele pudesse ser executado por qualquer pessoa usando um cluster ...
Usando o Hadoop pela primeira vez, o trabalho MapReduce não executa a fase de redução
Eu escrevi um trabalho simples de redução de mapa que leria os dados do DFS e executava um algoritmo simples nele. Ao tentar depurá-lo, decidi simplesmente fazer com que os mapeadores produzissem um único conjunto de chaves e valores, e os ...
Exemplo de redução de mapa do RavenDB usando o cliente .NET
Estou procurando um exemplo de como implementar e usar o Map-Reduce no RavenDB .NET Client. Gostaria de aplicá-lo a um cenário específico: gerar contagens únicas e totais de visitantes. Um documento de amostra que seria armazenado no ...
quantos mapeadores e redutores serão criados para uma tabela particionada no hive
Estou sempre confuso sobre quantos mapeadores e reduções serão criados para uma tarefa específica no hive. por exemplo, se o tamanho do bloco = 128mb e houver 365 arquivos cada mapeados para uma data em um ano (tamanho do arquivo = 1 mb cada). Há ...
Falha no derramamento do Hadoop
Atualmente, estou trabalhando em um projeto usando o Hadoop 0.21.0, 985326 e um cluster de 6 nós de trabalho e um nó principal. O envio de um trabalho regular de mapreduce falha, mas não faço ideia do porquê. Alguém viu essa exceção ...
Hadoop no servidor Windows
Estou pensando em usar o hadoop para processar arquivos de texto grandes em meus servidores Windows 2003 existentes (cerca de 10 máquinas quad core com 16 gb de RAM) As perguntas são: Existe algum bom tutorial sobre como configurar um cluster ...
Implementação de um ArrayWritable para um tipo personalizado do Hadoop
Como defino um ArrayWritable para um tipo personalizado do Hadoop? Estou tentando implementar um índice invertido no Hadoop, com tipos personalizados do Hadoop para armazenar os dados eu tenho umLançamento individual classe que armazena o termo ...