аюсь настроить HDFS на мини-кубе (на данный момент), а затем на кластере DEV kubernetes, чтобы я мог использовать его со Spark. Я хочу, чтобы Spark запускался локально на моей машине, чтобы я мог работать в режиме отладки во время разработки, чтобы у него был доступ к моей HDFS на K8s.

Я уже настроил 1 развертывание namenode и набор состояний stateful datanode (3 реплики), и они отлично работают, когда я использую HDFS из кластера. Я использую безголовый сервис для datanodes и кластерный ip-сервис для namenode.

Проблема начинается, когда я пытаюсь выставить hdfs. Я думал об использовании входа для этого, но он только открывает порт 80 за пределами кластера и отображает пути к различным службам внутри кластера, что не то, что я ищу. Насколько я понимаю, мои локальные рабочие задания (или клиент hdfs) общаются с namenode, который отвечает адресом для каждого блока данных. Этот адрес хоть что-то вроде172.17.0.x:50010 и конечно моя локальная машина не может их видеть.

Есть ли способ сделать эту работу? Заранее спасибо!