Я использую Typesafe Config,https://github.com/typesafehub/config, для параметризации задания Spark, работающего в режиме кластера пряжи, с помощью файла конфигурации. Поведение Typesafe Config по умолчанию заключается в поиске в пути к классам ресурсов с именами, соответствующими регулярному выражению, и автоматической загрузке их в ваш класс конфигурации с помощьюConfigFactory.load() (для наших целей предположим, что файл, который он ищет, называетсяapplication.conf).

Я могу загрузить файл конфигурации в драйвер с помощью--driver-class-path <directory containing configuration file>, но используя--conf spark.executor.extraClassPath=<directory containing configuration file> не помещает ресурс в путь к классам всех исполнителей, как это должно быть. Исполнители сообщают, что они не могут найти определенный параметр конфигурации для ключа, который существует в файле конфигурации, который я пытаюсь добавить в их пути к классам.

Как правильно добавить файл в пути к классам всех JVM-исполнителей, использующих Spark?