Estoy tratando de configurar HDFS en minikube (por ahora) y más tarde en un clúster de Kubernetes DEV para poder usarlo con Spark. Quiero que Spark se ejecute localmente en mi máquina para poder ejecutarlo en modo de depuración durante el desarrollo, por lo que debería tener acceso a mi HDFS en K8.

Ya he configurado 1 implementación de namenode y un conjunto de datos de nodo de datos (3 réplicas) y funcionan bien cuando estoy usando HDFS desde el clúster. Estoy usando un servicio sin cabeza para los nodos de datos y un servicio de cluster-ip para el nombre de nodo.

El problema comienza cuando intento exponer hdfs. Estaba pensando en usar una entrada para eso, pero eso solo expone el puerto 80 fuera del clúster y asigna rutas a diferentes servicios dentro del clúster, que no es lo que estoy buscando. Por lo que yo entiendo, mis trabajos locales de chispa (o cliente hdfs) hablan con el namenode que responde con una dirección para cada bloque de datos. Sin embargo, esa dirección es algo así como172.17.0.x:50010 y, por supuesto, mi máquina local no puede verlos.

¿Hay alguna forma de hacer que esto funcione? ¡Gracias por adelantado