Могут ли переменные hiveconf быть загружены из файла? (Отдельно от файла HiveQL)
У меня часто есть большой блок HiveQL, который я хочу запустить несколько раз с разными настройками для некоторых переменных.
Простой пример будет:
set mindate='2015-01-01 00:00:00'
set maxdate='2015-04-01 00:00:00'
select * from my_table where the_date between ${hiveconf:mindate} and ${hiveconf:maxdate}
Который затем запускается черезhive -f myfile.sql > myout.log
Позже я хотел быменять переменные и перезапустить. Я тоже хочузапись из каких значений переменные имели каждый раз, когда я бегал.
Поэтому в настоящее время я делаю копии файла HiveQL, которые совпадают, за исключением значений переменных. Это, очевидно, подвержено ошибкам, потому что, если мне нужно изменить фактический HiveQL, то я должен изменить его в каждом файле.
В идеале я мог бы хранить все свои настройки в файле JSON (или где-либо еще), и мой файл HiveQL был полностью динамическим. Есть какой-либо способ сделать это?