Resultados da pesquisa a pedido "hadoop"

1 a resposta

Qual é a diferença entre uma partição RDD e uma fatia?

oGuia de programação do Spark [http://spark.apache.org/docs/latest/scala-programming-guide.html]menciona fatias como um recurso de RDDs (coleções paralelas ou conjuntos de dados Hadoop.) ("O Spark executará uma tarefa para cada fatia do ...

6 a resposta

Como escrever em CSV no Spark

Estou tentando encontrar uma maneira eficaz de salvar o resultado do meu Spark Job como um arquivo csv. Estou usando o Spark com Hadoop e até agora todos os meus arquivos são salvos comopart-00000. Alguma idéia de como fazer o meu spark saving ...

2 a resposta

Cliente Java para Hbase seguro

Oi, eu estou tentando escrever um cliente java para hbase seguro. Eu quero fazer o kinit também do próprio código, para que eu esteja usando a classe de informações do grupo de usuários. Alguém pode apontar onde estou errado aqui? esse é o ...

3 a resposta

O que deve ser hadoop.tmp.dir?

O Hadoop possui parâmetro de configuraçãohadoop.tmp.dir qual, conforme a documentação, é `"Base para outros diretórios temporários." Presumo que esse caminho se refira ao sistema de arquivos local. Eu defino esse valor ...

5 a resposta

Não é possível obter o Sqoop 1.99.3 trabalhando com o Apache Hadoop 2.4.0 no Centos 6.5 de 64 bits

Tenho o Apache hadoop trabalhando e instalado no servidor virual do Centos 6.5 KVM. Está instalado em /home/hduser/yarn/hadoop-2.4.0 and the config files are in /home/hduser/yarn/hadoop-2.4.0/etc/hadoop.Eu estava recebendo reclamações do hadoop ...

3 a resposta

Erro ao tentar gravar em hdfs: o servidor IPC versão 9 não pode se comunicar com o cliente versão 4

Estou tentando escrever um arquivo para hdfs usando scala e continuo recebendo o seguinte erro Caused by: org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4 ...

2 a resposta

reequilíbrio hadoop e hbase após adições de nós

Eu tenho uma pergunta fundamental sobre o balanceador de carga. Acabei de adicionar novos nós ao cluster hadoop (2.3), que também possui o hbase v0.98. Após a adição e com todos os nós online no hadoop e hbase, Como a hbase é afetada pelo hadoop ...

1 a resposta

Exceção EOF do Apache Spark

Estou recebendo uma EOFException ao executar um trabalho simples que lê um arquivo de texto e coleta os resultados. Isso funciona bem na minha máquina de desenvolvimento, mas falha ao executá-la no modo autônomo (máquina única, mestre + ...

1 a resposta

Criando partições de seção por vários meses usando um script

Eu tenho dados há 4 anos. Gostar '2011 2012 2013 2014'Eu tenho que executar consultas com base nos dados de um mês. Então, eu estou criando partições como abaixo. 'ALTER TABLE table1_2010Jan ADD PARTITION(year='2010', month='01', ...

2 a resposta

Divisão automática de regiões HBase usando hbase.hregion.max.filesize

Estou usando a distribuição cloudera do HBase (hbase-0.94.6-cdh4.5.0) e o gerenciador do cloudera para definir todas as configurações do cluster. Eu configurei a seguinte propriedade para o HBase: <property> ...