He definido una configuración predeterminada en mi aplicación Spark que está metida ensrc/main/resources/reference.conf. yo sueloConfigFactory.load() para obtener la configuración.

Cuando ejecuto la aplicación conspark-submit recoge estos valores predeterminados. Sin embargo, cuando solo quiero anular algunas de las configuraciones disponibles enreference.conf y proporcionarapplication.conf, no parece recoger estas anulaciones. De la documentación pensé queapplication.conf se fusiona conreference.conf al llamarload(), por lo que no es necesario redefinir todo enapplication.conf.

Mireference.conf Se ve como esto:

hdfs {
  rootDir: "/foo"
  dataDir: "hdfs://"${hdfs.rootDir}"/bar"
}

db {
  driver: "com.mysql.jdbc.Driver"
  ...
}

...

Lo que ahora me gustaría hacer es tener unapplication.conf con, digamos, solo una costumbrehdfs sección porque el resto es igual.

Ejecuto mi aplicación Spark suministrandoapplication.conf tanto en el--files parámetro, en--driver-class-pathy--conf spark.executor.extraClassPath. Esto puede ser excesivo pero funciona cuando creo una copia dereference.conf y cambiar algunos de los campos.

¿Qué me estoy perdiendo?