Typesafe Config в Spark
Я определил конфигурацию по умолчанию в моем приложении Spark, которое скрыто вsrc/main/resources/reference.conf
, я используюConfigFactory.load()
получить конфигурацию.
Когда я запускаю приложение сspark-submit
он подхватывает эти значения по умолчанию. Однако, когда я хочу переопределить только некоторые из конфигураций, доступных вreference.conf
и предоставитьapplication.conf
Похоже, он не подхватывает эти переопределения. Из документации я думал, чтоapplication.conf
сливается сreference.conf
при звонкеload()
, так что нет необходимости переопределять все вapplication.conf
.
мойreference.conf
выглядит так:
hdfs {
rootDir: "/foo"
dataDir: "hdfs://"${hdfs.rootDir}"/bar"
}
db {
driver: "com.mysql.jdbc.Driver"
...
}
...
То, что я сейчас хотел бы сделать, это иметьapplication.conf
с, скажем, только обычайhdfs
раздел, потому что остальное то же самое.
Я запускаю свое приложение Spark, предоставляяapplication.conf
в обоих--files
параметр, в--driver-class-path
, а также--conf spark.executor.extraClassPath
, Это может быть излишним, но это работает, когда я создаю копиюreference.conf
и измените несколько полей.
Что мне не хватает?