Resultados da pesquisa a pedido "hadoop"
Erro do Hadoop no Windows: java.lang.UnsatisfiedLinkError
Sou novo no Hadoop e estou tentando executar meu primeiro trabalho de redução de número de palavras. No entanto, sempre que estou tentando fazer isso, estou recebendo o erro abaixo: java.lang.UnsatisfiedLinkError: ...
A execução de fios com faísca não funciona com Java 8
Eu tenho cluster com 1 mestre e 6 escravos que usa a versão pré-criada do hadoop 2.6.0 e spark 1.6.2. Eu estava executando os trabalhos hadoop MR e spark sem nenhum problema com o openjdk 7 instalado em todos os nós. No entanto, quando ...
Como atribuir e usar cabeçalhos de coluna no Spark?
Estou lendo um conjunto de dados como abaixo. f = sc.textFile("s3://test/abc.csv")Meu arquivo contém mais de 50 campos e desejo atribuir cabeçalhos de coluna para cada um dos campos para referência posteriormente no meu script. Como faço isso ...
Usando JSON-SerDe em Tabelas Hive
Eu estou tentando JSON-SerDe abaixo linkhttp://code.google.com/p/hive-json-serde/wiki/GettingStarted.
Apache Hadoop Yarn - Subutilização de núcleos
Não importa o quanto eu mexa nas configurações doyarn-site.xml ou seja, usando todas as opções abaixo yarn.scheduler.minimum-allocation-vcores yarn.nodemanager.resource.memory-mb yarn.nodemanager.resource.cpu-vcores ...
Quais são os prós e os contras de executar um trabalho no Hadoop usando vários idiomas?
Eu tenho usado o Pig ou Java para Map Reduce exclusivamente para executar tarefas em um cluster Hadoop até agora. Recentemente, experimentei usar o Python Map Reduce através do streaming do Hadoop e isso foi bem legal também. Tudo isso faz ...
Hadoop 2 IOException apenas ao tentar abrir arquivos de cache supostos
Eu atualizei recentemente para o hadoop 2.2 (usando este tutorialAqui).Minha classe de trabalho principal parece com isso e lança uma IOException:
MapReduce classificar por valor em ordem decrescente
Estou tentando escrever em pseudo-código uma tarefa MapReduce que retorna os itens classificados em ordem decrescente. Por exemplo: para a tarefa de contagem de palavras, em vez de obter: apple 1 banana 3 mango 2Eu quero que a saída ...
Entrada e saída de dados do Elastic MapReduce HDFS
Escrevi um programa Hadoop que requer um determinado layout no HDFS e, posteriormente, preciso retirar os arquivos do HDFS. Ele funciona na minha configuração Hadoop de nó único e estou ansioso para fazê-lo funcionar em dezenas de nós no Elastic ...
Qual é o significado das exceções de EOF nas conexões hadoop namenode do hbase / filesystem?
Esta é uma pergunta geral sobre exceções de EOF em java, bem como a exceção de EOF do Hadoop, relacionada à interoperabilidade de jar. Comentários e respostas sobre qualquer tópico são aceitávei Fund Estou observando alguns threads que ...