Resultados da pesquisa a pedido "hadoop"

3 a resposta

Erro do Hadoop no Windows: java.lang.UnsatisfiedLinkError

Sou novo no Hadoop e estou tentando executar meu primeiro trabalho de redução de número de palavras. No entanto, sempre que estou tentando fazer isso, estou recebendo o erro abaixo: java.lang.UnsatisfiedLinkError: ...

1 a resposta

A execução de fios com faísca não funciona com Java 8

Eu tenho cluster com 1 mestre e 6 escravos que usa a versão pré-criada do hadoop 2.6.0 e spark 1.6.2. Eu estava executando os trabalhos hadoop MR e spark sem nenhum problema com o openjdk 7 instalado em todos os nós. No entanto, quando ...

3 a resposta

Como atribuir e usar cabeçalhos de coluna no Spark?

Estou lendo um conjunto de dados como abaixo. f = sc.textFile("s3://test/abc.csv")Meu arquivo contém mais de 50 campos e desejo atribuir cabeçalhos de coluna para cada um dos campos para referência posteriormente no meu script. Como faço isso ...

3 a resposta

Usando JSON-SerDe em Tabelas Hive

Eu estou tentando JSON-SerDe abaixo linkhttp://code.google.com/p/hive-json-serde/wiki/GettingStarted.

2 a resposta

Apache Hadoop Yarn - Subutilização de núcleos

Não importa o quanto eu mexa nas configurações doyarn-site.xml ou seja, usando todas as opções abaixo yarn.scheduler.minimum-allocation-vcores yarn.nodemanager.resource.memory-mb yarn.nodemanager.resource.cpu-vcores ...

6 a resposta

Quais são os prós e os contras de executar um trabalho no Hadoop usando vários idiomas?

Eu tenho usado o Pig ou Java para Map Reduce exclusivamente para executar tarefas em um cluster Hadoop até agora. Recentemente, experimentei usar o Python Map Reduce através do streaming do Hadoop e isso foi bem legal também. Tudo isso faz ...

2 a resposta

Hadoop 2 IOException apenas ao tentar abrir arquivos de cache supostos

Eu atualizei recentemente para o hadoop 2.2 (usando este tutorialAqui).Minha classe de trabalho principal parece com isso e lança uma IOException:

1 a resposta

MapReduce classificar por valor em ordem decrescente

Estou tentando escrever em pseudo-código uma tarefa MapReduce que retorna os itens classificados em ordem decrescente. Por exemplo: para a tarefa de contagem de palavras, em vez de obter: apple 1 banana 3 mango 2Eu quero que a saída ...

2 a resposta

Entrada e saída de dados do Elastic MapReduce HDFS

Escrevi um programa Hadoop que requer um determinado layout no HDFS e, posteriormente, preciso retirar os arquivos do HDFS. Ele funciona na minha configuração Hadoop de nó único e estou ansioso para fazê-lo funcionar em dezenas de nós no Elastic ...

2 a resposta

Qual é o significado das exceções de EOF nas conexões hadoop namenode do hbase / filesystem?

Esta é uma pergunta geral sobre exceções de EOF em java, bem como a exceção de EOF do Hadoop, relacionada à interoperabilidade de jar. Comentários e respostas sobre qualquer tópico são aceitávei Fund Estou observando alguns threads que ...