Resultados da pesquisa a pedido "hdfs"
Como posso salvar um RDD no HDFS e depois lê-lo novamente?
Eu tenho um RDD cujos elementos são do tipo (Long, String). Por alguma razão, quero salvar o RDD inteiro no HDFS e, posteriormente, também ler esse RDD novamente em um programa Spark. É possível fazer isso? E se sim, como?
Acessando o HDFS no Cloudera com Java e Kerberos Keytab no Windows
Estou tentando me conectar à minha instância do HDFS em execução no Cloudera. Meu primeiro passo foi habilitar o Kerberos e criar Keytabs (como ...
Excluir arquivos com mais de 10 dias no HDFS
Existe uma maneira de excluir arquivos com mais de 10 dias no HDFS? No Linux eu usaria: find /path/to/directory/ -type f -mtime +10 -name '*.txt' -execdir rm -- {} \; Existe uma maneira de fazer isso no HDFS? (Exclusão a ser feita com base na ...
excluir pastas de partições em hdfs com mais de N dias
Quero excluir as pastas da partição com mais de N dias. O comando abaixo fornece as pastas exatamente 50 dias atrás. Quero a lista de todas as pastas com menos de 50 dias hadoop fs -ls /data/publish/DMPD/VMCP/staging/tvmcpr_usr_prof/chgdt=`date ...
Descartando várias partições no Impala / Hive
1- Estou tentando excluir várias partições de uma só vez, mas lutando para fazê-lo com o Impala ou o Hive. Eu tentei a seguinte consulta, com e sem': ALTER TABLE cz_prd_corrti_st.s1mme_transstats_info DROP IF EXISTS ...
Erro Kerberos ao conectar-se ao impala e hbase
Estamos desenvolvendo um aplicativo da web que interage com componentes do hadoop, como HDFS, HBase e Impala. O cluster é kerberizado, estamos autenticando com a configuração do JAAS. Estamos configurando o JAAS nos argumentos da VM como ...
o script shell do job sqoop é executado paralelamente no oozie
Eu tenho um script de shell que executasqoop job. O script está abaixo. !#/bin/bash table=$1 sqoop job --exec ${table}Agora, quando passo o nome da tabela no fluxo de trabalho, obtenho que o trabalho do sqoop seja executado com sucesso. O fluxo ...
Como o dataframereader pode ler http?
Meu ambiente de desenvolvimento: IntellijMavenScala2.10.6win7 x64Dependências: <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 --> <dependency> ...