трю, как скопировать папку с файлами зависимостей ресурсов из HDFS в локальный рабочий каталог каждого искрового исполнителя с использованием Java.

Сначала я думал об использовании опции --files FILES в spark-submit, но, похоже, она не поддерживает папки файлов произвольного вложения. Таким образом, похоже, мне нужно сделать это, поместив эту папку в общий путь HDFS, чтобы каждый исполнитель правильно скопировал ее в свой рабочий каталог перед запуском задания, но пока не выяснил, как это сделать правильно в коде Java.

Или заархивируйте эту папку в zip / gzip /, поместите ее в общий путь HDFS, а затем скопируйте архив в локальный рабочий каталог каждого исполнителя Spark.

Любая помощь или примеры кода приветствуется.

Это папка с файлами конфигурации, и они являются частью вычислений и должны быть расположены вместе с основным jar-файлом spark-submit (например, файлы базы данных, которые jar-код использует при выполнении задания, и я, к сожалению, не могу изменить эту зависимость, так как я повторно использую существующий код).

С уважением, -Юрий