Resultados da pesquisa a pedido "hadoop"
identityreducer na nova API do Hadoop
Passei quase um dia, mas não consegui descobrir como usar o IdentityReducer na nova API do Hadoop. Todas as referências ou classes que posso encontrar estão com a API antiga. E, obviamente, misturar a antiga classe de identificação de API do ...
problemas executando exemplos simples de hadoop para reduzir mapas no cygwin
Estou apenas tentando colocar o Hadoop em execução no meu laptop executando o Windows 7 de 64 bits no modo autônomo. Instalei o Cygwin 1.7 na pasta padrão (c: \ cygwin). Eu tenho o JDK mais recente na pasta c: \ jdk1.7.0_03 e defini a variável ...
Como fazer um jar.file monolítico?
Preciso criar um arquivo jar de trabalho do hadoop que use mahout e várias outras bibliotecas. Eu preciso executar o trabalho sem precisar de jar.files adicionais, de modo que todas as classes referenciadas sejam empacotadas com o arquivo jar ...
Amazon MapReduce melhores práticas para análise de logs
Estou analisando os logs de acesso gerados pelo Apache, Nginx, Darwin (servidor de streaming de vídeo) e agregando estatísticas para cada arquivo entregue por data / referenciador / agente do usuário. Toneladas de logs gerados a cada hora e ...
Chamar um trabalho de mapreduce a partir de um programa java simples
Estive tentando chamar um trabalho de mapreduce a partir de um programa java simples no mesmo pacote. Tentei consultar o arquivo jar mapreduce no meu programa java e chamá-lo usando orunJar(String args[]) passando também os caminhos de entrada e ...
aneira mais eficiente de criar um caminho no tratador onde os elementos raiz do caminho podem ou não existi
Imagine um caminho "/ root / child1 / child2 / child3" Imagine no tratador que talvez parte disso exista, diga "/ root / child1" Não há equivalente a "mkdir -p" no tratador; Além disso, o ZooKeeper.multi () falhará se qualquer operação ...
Hadoop: Maneira fácil de ter um objeto como valor de saída sem interface gravável
Estou tentando explorar o hadoop para treinar vários modelos. Meus dados são pequenos o suficiente para caber na memória, então eu quero ter um modelo treinado em cada tarefa de map Meu problema é que, quando terminar de treinar meu modelo, ...
Como usar o código MATLAB no mapeador (Hadoop)?
Tenho um código matlab que processa imagens. Eu quero criar um mapeador Hadoop que use esse código. Encontrei as seguintes soluções, mas não tenho certeza qual delas é a melhor (pois é muito difícil instalar o tempo de execução do compilador ...
possível ler os dados do MongoDB, processá-los com o Hadoop e enviá-los para um RDBS (MySQL
Summary:É possível Importe dados para o Hadoop com o «MongoDB Connector for Hadoop». Processe com o Hadoop MapReducExporte-o com o Sqoop em uma única transaçãEstou criando um aplicativo da web com o MongoDB. Enquanto o MongoDB funciona bem para ...
Como resolver 'o arquivo só pode ser replicado para 0 nós, em vez de 1' no hadoop?
Tenho um trabalho simples do hadoop que rastreia sites e os armazena em cache no HDFS. O mapeador verifica se já existe uma URL no HDFS e, se houver, o usa para baixar a página e salvá-la no HDF Se um erro de rede (404, etc.) for encontrado ...