Resultados de la búsqueda a petición "hdfs"
Dejar caer particiones múltiples en Impala / Hive
1- Estoy tratando de eliminar varias particiones a la vez, pero estoy luchando por hacerlo con Impala o Hive. Intenté la siguiente consulta, con y sin': ALTER TABLE cz_prd_corrti_st.s1mme_transstats_info DROP IF EXISTS ...
eliminar carpetas de particiones en hdfs anteriores a N días
Quiero eliminar las carpetas de partición que tienen más de N días. El siguiente comando muestra las carpetas que son exactamente hace 50 días. Quiero la lista de todas las carpetas que tienen menos de 50 días. hadoop fs -ls ...
Copie archivos (config) de HDFS al directorio de trabajo local de cada ejecutor de chispa
Estoy buscando cómo copiar una carpeta con archivos de dependencias de recursos de HDFS a un directorio de trabajo local de cada ejecutor de chispa usando Java. Al principio estaba pensando en usar la opción --files FILES de spark-submit pero ...
Error de Kerberos al conectarse a impala y hbase
Estamos desarrollando una aplicación web que interactúa con componentes hadoop como HDFS, HBase e Impala. El clúster está kerberizado, nos estamos autenticando con la configuración JAAS. Estamos configurando JAAS en argumentos de VM como ...
Eliminar archivos de más de 10 días en HDFS
¿Hay alguna forma de eliminar archivos de más de 10 días en HDFS? En Linux usaría: find /path/to/directory/ -type f -mtime +10 -name '*.txt' -execdir rm -- {} \; ¿Hay alguna manera de hacer esto en HDFS? (La eliminación se realizará según ...
Acceso a HDFS en Cloudera con Java y Kerberos Keytab desde Windows
Estoy tratando de conectarme a mi instancia HDFS que se ejecuta en Cloudera. Mi primer paso fue habilitar Kerberos y crear Keytabs (como se ...
El script de shell de trabajo sqoop se ejecuta en paralelo en oozie
Tengo un script de shell que se ejecutasqoop job. El guión está abajo. !#/bin/bash table=$1 sqoop job --exec ${table}Ahora, cuando paso el nombre de la tabla en el flujo de trabajo, obtengo el trabajo sqoop para que se ejecute correctamente. El ...
¿Cómo puede leer dataframereader http?
Mi entorno de desarrollo: IntellijMavenScala2.10.6win7 x64Dependencias: <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 --> <dependency> ...
nodo de datos hdfs desconectado de namenode
De vez en cuando recibo los siguientes errores en el administrador de cloudera: This DataNode is not connected to one or more of its NameNode(s).y The Cloudera Manager agent got an unexpected response from this role's web server.(generalmente ...
El sumidero HDFS de Flume mantiene archivos pequeños
Estoy tratando de transmitir datos de Twitter a hdfs usando flume y esto: https://github.com/cloudera/cdh-twitter-example/ [https://github.com/cloudera/cdh-twitter-example/] Lo que sea que intente aquí, sigue creando archivos en HDFS que varían ...