Resultados de la búsqueda a petición "hdfs"
¿Hay un equivalente a `pwd` en hdfs?
Traté de hacer
Agregar una tabla separada por comas a Hive
Tengo una pregunta muy básica que es: ¿Cómo puedo agregar una tabla muy simple a Hive? Mi tabla se guarda en un archivo de texto (.txt) que se guarda en HDFS. Intenté crear una tabla externa en Hive que señala este archivo, pero cuando ejecuto ...
Cómo enumerar archivos en el directorio HDFS
¿Cómo enumero los archivos en el directorio HDFS? Esto es para enumerar archivos en el clúster Apache Spark usando Scala. Veo que hay una opción sc.textfile () pero eso también leerá el contenido. Quiero leer solo nombres de archivos. En ...
Obtenga archivos que se crearon en los últimos 5 minutos en hadoop usando el script de shell
Tengo archivos en HDFS como: drwxrwx--- - root supergroup 0 2016-08-19 06:21 /tmp/logs/root/logs/application_1464962104018_1639064 drwxrwx--- - root supergroup 0 2016-08-19 ...
Spark: Guardar RDD en una ruta ya existente en HDFS
Puedo guardar la salida RDD en HDFS consaveAsTextFilemétodo. Este método genera una excepción si la ruta del archivo ya existe. Tengo un caso de uso donde necesito guardar el RDDS en una ruta de archivo ya existente en HDFS. ¿Hay alguna manera ...
¿Cómo puedo guardar un RDD en HDFS y luego volver a leerlo?
Tengo un RDD cuyos elementos son de tipo (Long, String). Por alguna razón, quiero guardar todo el RDD en el HDFS, y luego también leer ese RDD en un programa Spark. ¿Es posible hacer eso? Y si es así, ¿cómo?
Spark necesita de HDFS
Hola, ¿alguien puede explicarme? ¿Apache 'Spark Standalone' necesita HDFS? Si se requiere cómo Spark usa el tamaño de bloque HDFS durante la ejecución de la aplicación Spark. Quiero decir, estoy tratando de entender cuál será el rol HDFS durante ...
El directorio de scratch raíz: / tmp / hive en HDFS debe poder escribirse. Los permisos actuales son: -wx ------
He cambiado el permiso usando el comando hdfs. Todavía muestra el mismo error. El directorio de scratch raíz: / tmp / hive en HDFS debe poder escribirse. Los permisos actuales son: -wx ------ Programa Java que estoy ejecutando. import ...