Estou usando o Typesafe Config,https://github.com/typesafehub/config, para parametrizar uma tarefa do Spark em execução no modo de cluster de fios com um arquivo de configuração. O comportamento padrão do Typesafe Config é procurar recursos no caminho de classe com nomes correspondentes a uma regex e carregá-los automaticamente na sua classe de configuração comConfigFactory.load() (para nossos propósitos, suponha que o arquivo que ele procura seja chamadoapplication.conf)

Consigo carregar o arquivo de configuração no driver usando--driver-class-path <directory containing configuration file>, mas usando--conf spark.executor.extraClassPath=<directory containing configuration file> não coloca o recurso no caminho de classe de todos os executores como deveria. Os executores relatam que não conseguem encontrar uma determinada configuração para uma chave que existe no arquivo de configuração que estou tentando adicionar aos caminhos de classe.

Qual é a maneira correta de adicionar um arquivo aos caminhos de classe de todas as JVMs do executor usando o Spark?