Resultados da pesquisa a pedido "hadoop"
Hadoop & Bash: exclua o intervalo de nomes de arquivos
Diga que você tem uma lista de arquivos no HDFS com um prefixo comum e um sufixo crescente. Por exemplo part-1.gz, part-2.gz, part-3.gz, ..., part-50.gzEu só quero deixar alguns arquivos no diretório, digamos 3. Quaisquer três arquivos ...
Diferença entre hadoop fs -put e hadoop fs -copyFromLocal
-put e-copyFromLocal são documentados como idênticos, enquanto a maioria dos exemplos usa a variante detalhada -copyFromLocal. Por quê A mesma coisa para-get e-copyToLocal
possível usar o apache mahout sem dependência do hadoo
possível usar o Apache mahout sem nenhuma dependência do Hadoo Eu gostaria de usar o algoritmo mahout em um único computador, incluindo apenas a biblioteca mahout dentro do meu projeto Java, mas não quero usar o hadoop, pois, de qualquer ...
Como faço para o Hadoop encontrar módulos Python importados ao usar UDFs Python no Pi
Estou usando Pig (0.9.1) com UDFs escritos em Python. Os scripts Python importam módulos da biblioteca padrão do Python. Consegui executar os scripts do Pig que chamam as UDFs do Python com êxito no modo local, mas quando executo no ...
Cluster do Hadoop - Preciso replicar meu código em todas as máquinas antes de executar o trabalh
Isso é o que me confunde, quando eu uso o exemplo de contagem de palavras, eu mantenho o código no mestre e deixo que ele faça coisas com os escravos e ele funciona bem Mas quando estou executando meu código, ele começa a falhar nos ...
hadoop streaming: como ver os logs do aplicativo?
Posso ver todos os logs do hadoop no meu/usr/local/hadoop/logs path mas onde posso ver os logs no nível do aplicativo? por exemplo mapper.py import logging def main(): logging.info("starting map task now") // -- do some task -- // print ...
A serialização usando ArrayWritable parece funcionar de uma maneira engraçada
Eu estava trabalhando comArrayWritable, em algum momento eu precisava verificar como o Hadoop serializa oArrayWritable, foi o que obtive ao definirjob.setNumReduceTasks(0): 0 IntArrayWritable@10f11b8 3 IntArrayWritable@544ec1 6 ...
Qual é o significado das exceções de EOF nas conexões hadoop namenode do hbase / filesystem?
Esta é uma pergunta geral sobre exceções de EOF em java, bem como a exceção de EOF do Hadoop, relacionada à interoperabilidade de jar. Comentários e respostas sobre qualquer tópico são aceitávei Fund Estou observando alguns threads que ...
Como personalizar a classe Gravável no Hadoop?
Estou tentando implementar a classe gravável, mas não tenho idéia de como implementar uma classe gravável se na minha classe houver objeto aninhado, como lista, etc. Alguém poderia me ajudar? obrigad public class StorageClass implements ...
Especificando limites de memória com o hadoop
Estou tentando executar um trabalho de alta memória em um cluster Hadoop (0.20.203). Modifiquei o mapred-site.xml para impor alguns limites de memóri <property> <name>mapred.cluster.max.map.memory.mb</name> <value>4096</value> </property> ...