Typesafe Config в Spark

Я определил конфигурацию по умолчанию в моем приложении Spark, которое скрыто вsrc/main/resources/reference.conf, я используюConfigFactory.load() получить конфигурацию.

Когда я запускаю приложение сspark-submit он подхватывает эти значения по умолчанию. Однако, когда я хочу переопределить только некоторые из конфигураций, доступных вreference.conf и предоставитьapplication.confПохоже, он не подхватывает эти переопределения. Из документации я думал, чтоapplication.conf сливается сreference.conf при звонкеload(), так что нет необходимости переопределять все вapplication.conf.

мойreference.conf выглядит так:

hdfs {
  rootDir: "/foo"
  dataDir: "hdfs://"${hdfs.rootDir}"/bar"
}

db {
  driver: "com.mysql.jdbc.Driver"
  ...
}

...

То, что я сейчас хотел бы сделать, это иметьapplication.conf с, скажем, только обычайhdfs раздел, потому что остальное то же самое.

Я запускаю свое приложение Spark, предоставляяapplication.conf в обоих--files параметр, в--driver-class-path, а также--conf spark.executor.extraClassPath, Это может быть излишним, но это работает, когда я создаю копиюreference.conf и измените несколько полей.

Что мне не хватает?

Ответы на вопрос(0)

Ваш ответ на вопрос