Resultados de la búsqueda a petición "hdfs"
Cloudera 5.4.2: el tamaño del bloque Avro no es válido o es demasiado grande cuando se usa Flume y la transmisión de Twitter
Hay un pequeño problema cuando intento Cloudera 5.4.2. Base en este artículo Apache Flume - Obteniendo datos de ...
¿Cómo leer múltiples elementos de línea en Spark?
Cuando lees un archivo en Spark usandosc.textfile, le da elementos, donde cada elemento es una línea separada. Sin embargo, quiero que cada elemento consista en N número de líneas. Tampoco puedo usar delimitadores porque no hay ninguno en ese ...
¿Cómo descomprimir archivos almacenados en HDFS usando Java, sin copiar primero en el sistema de archivos local?
Estamos almacenando archivos zip, que contienen archivos XML, en HDFS. Necesitamos poder descomprimir programáticamente el archivo y transmitir los archivos XML contenidos, utilizando Java. FileSystem.open devuelve un FSDataInputStream pero los ...
¿Cómo combino o combino archivos ORC pequeños en un archivo ORC más grande?
La mayoría de las preguntas / respuestas sobre SO y la web discuten el uso de Hive para combinar un montón de pequeños archivos ORC en uno más grande, sin embargo, mis archivos ORC son archivos de registro que están separados por día y necesito ...
Diferencia entre el conjunto de datos de Spark escribir
Estoy usando Spark-Java. Necesito saber si hay alguna diferencia (rendimiento, etc.) entre los siguientes métodos de escritura en Hadoop: ds.write().mode(mode).format("orc").save(path); ds.write().mode(mode).orc(path);Gracias
¿Es posible guardar archivos en Hadoop sin guardarlos en el sistema de archivos local?
¿Es posible guardar archivos en Hadoop sin guardarlos en el sistema de archivos local? Me gustaría hacer algo como se muestra a continuación, sin embargo, me gustaría guardar el archivo directamente en HDFS. En este momento guardo archivos en el ...
Ejecutar hadoop en Mac OS
Intento configurar para ejecutar Hadoop en Mac OS conbrew. Los pasos dados se proporcionan a continuación, Instalar en pchadoop con el comando,$brew install hadoop Dentro de la carpetausr/local/Cellar/hadoop/3.1.0/libexec/etc/hadoop y agregó ...
Acceso remoto a HDFS en Kubernetes
Estoy tratando de configurar HDFS en minikube (por ahora) y más tarde en un clúster de Kubernetes DEV para poder usarlo con Spark. Quiero que Spark se ejecute localmente en mi máquina para poder ejecutarlo en modo de depuración durante el ...
Cómo crear un número n de tablas externas con una sola ruta hdfs usando Hive
¿Es posible crear un número n de tablas externas que apuntan a una única ruta hdfs usando Hive? En caso afirmativo, ¿cuáles son las ventajas y sus limitaciones?
¿Cómo insisto en HDFS con chispa?
Tengo datos particionados en el HDFS. En algún momento decido actualizarlo. El algoritmo es: Lee los nuevos datos de un tema kafka. Encuentre nuevos nombres de partición de datos. Cargue los datos de las particiones con estos nombres que se ...