Resultados de la búsqueda a petición "hdfs"
¿Cómo arreglo "El archivo solo se puede replicar a 0 nodos en lugar de minReplication (= 1)"?
Hice una pregunta similar hace un tiempo [https://stackoverflow.com/questions/53959342/why-do-i-get-file-could-only-be-replicated-to-0-nodes-when-writing-to-a-partit] , y pensé que había resuelto este problema, pero resultó que ...
¿Cómo insisto en HDFS con chispa?
Tengo datos particionados en el HDFS. En algún momento decido actualizarlo. El algoritmo es: Lee los nuevos datos de un tema kafka. Encuentre nuevos nombres de partición de datos. Cargue los datos de las particiones con estos nombres que se ...
Cómo crear un número n de tablas externas con una sola ruta hdfs usando Hive
¿Es posible crear un número n de tablas externas que apuntan a una única ruta hdfs usando Hive? En caso afirmativo, ¿cuáles son las ventajas y sus limitaciones?
Acceso remoto a HDFS en Kubernetes
Estoy tratando de configurar HDFS en minikube (por ahora) y más tarde en un clúster de Kubernetes DEV para poder usarlo con Spark. Quiero que Spark se ejecute localmente en mi máquina para poder ejecutarlo en modo de depuración durante el ...
Ejecutar hadoop en Mac OS
Intento configurar para ejecutar Hadoop en Mac OS conbrew. Los pasos dados se proporcionan a continuación, Instalar en pchadoop con el comando,$brew install hadoop Dentro de la carpetausr/local/Cellar/hadoop/3.1.0/libexec/etc/hadoop y agregó ...
Diferencia entre el conjunto de datos de Spark escribir
Estoy usando Spark-Java. Necesito saber si hay alguna diferencia (rendimiento, etc.) entre los siguientes métodos de escritura en Hadoop: ds.write().mode(mode).format("orc").save(path); ds.write().mode(mode).orc(path);Gracias
¿Es posible guardar archivos en Hadoop sin guardarlos en el sistema de archivos local?
¿Es posible guardar archivos en Hadoop sin guardarlos en el sistema de archivos local? Me gustaría hacer algo como se muestra a continuación, sin embargo, me gustaría guardar el archivo directamente en HDFS. En este momento guardo archivos en el ...
¿Cómo combino o combino archivos ORC pequeños en un archivo ORC más grande?
La mayoría de las preguntas / respuestas sobre SO y la web discuten el uso de Hive para combinar un montón de pequeños archivos ORC en uno más grande, sin embargo, mis archivos ORC son archivos de registro que están separados por día y necesito ...
Cómo guardar un archivo en el clúster
Estoy conectado al clúster usandossh y envío el programa al clúster usando spark-submit --master yarn myProgram.pyQuiero guardar el resultado en un archivo de texto e intenté usar las siguientes ...
Operación de escritura Hadoop HDFS mediante programación
Hice una pregunta similar hace un tiempo, pero luego no tenía idea de lo que estaba hablando. Estoy publicando esta pregunta con más detalles y consultas puntuales. Así que configuré el clúster hadoop con namenode y 2 datanodes. Estoy ...