Resultados da pesquisa a pedido "hadoop"
Qual é a diferença entre uma partição RDD e uma fatia?
oGuia de programação do Spark [http://spark.apache.org/docs/latest/scala-programming-guide.html]menciona fatias como um recurso de RDDs (coleções paralelas ou conjuntos de dados Hadoop.) ("O Spark executará uma tarefa para cada fatia do ...
Como escrever em CSV no Spark
Estou tentando encontrar uma maneira eficaz de salvar o resultado do meu Spark Job como um arquivo csv. Estou usando o Spark com Hadoop e até agora todos os meus arquivos são salvos comopart-00000. Alguma idéia de como fazer o meu spark saving ...
Cliente Java para Hbase seguro
Oi, eu estou tentando escrever um cliente java para hbase seguro. Eu quero fazer o kinit também do próprio código, para que eu esteja usando a classe de informações do grupo de usuários. Alguém pode apontar onde estou errado aqui? esse é o ...
O que deve ser hadoop.tmp.dir?
O Hadoop possui parâmetro de configuraçãohadoop.tmp.dir qual, conforme a documentação, é `"Base para outros diretórios temporários." Presumo que esse caminho se refira ao sistema de arquivos local. Eu defino esse valor ...
Não é possível obter o Sqoop 1.99.3 trabalhando com o Apache Hadoop 2.4.0 no Centos 6.5 de 64 bits
Tenho o Apache hadoop trabalhando e instalado no servidor virual do Centos 6.5 KVM. Está instalado em /home/hduser/yarn/hadoop-2.4.0 and the config files are in /home/hduser/yarn/hadoop-2.4.0/etc/hadoop.Eu estava recebendo reclamações do hadoop ...
Erro ao tentar gravar em hdfs: o servidor IPC versão 9 não pode se comunicar com o cliente versão 4
Estou tentando escrever um arquivo para hdfs usando scala e continuo recebendo o seguinte erro Caused by: org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4 ...
reequilíbrio hadoop e hbase após adições de nós
Eu tenho uma pergunta fundamental sobre o balanceador de carga. Acabei de adicionar novos nós ao cluster hadoop (2.3), que também possui o hbase v0.98. Após a adição e com todos os nós online no hadoop e hbase, Como a hbase é afetada pelo hadoop ...
Exceção EOF do Apache Spark
Estou recebendo uma EOFException ao executar um trabalho simples que lê um arquivo de texto e coleta os resultados. Isso funciona bem na minha máquina de desenvolvimento, mas falha ao executá-la no modo autônomo (máquina única, mestre + ...
Criando partições de seção por vários meses usando um script
Eu tenho dados há 4 anos. Gostar '2011 2012 2013 2014'Eu tenho que executar consultas com base nos dados de um mês. Então, eu estou criando partições como abaixo. 'ALTER TABLE table1_2010Jan ADD PARTITION(year='2010', month='01', ...
Divisão automática de regiões HBase usando hbase.hregion.max.filesize
Estou usando a distribuição cloudera do HBase (hbase-0.94.6-cdh4.5.0) e o gerenciador do cloudera para definir todas as configurações do cluster. Eu configurei a seguinte propriedade para o HBase: <property> ...