к рабочим узлам. Google DataProc делает. Тем не менее, YARN - это своего рода хакерский способ получения переменных среды. Подумайте только о том, чтобы передать их в качестве аргумента вашей искровой работе.
ужно установить пользовательскую переменную среды в EMR, которая будет доступна при запуске приложения spark.
Я попытался добавить это:
...
--configurations '[
{
"Classification": "spark-env",
"Configurations": [
{
"Classification": "export",
"Configurations": [],
"Properties": { "SOME-ENV-VAR": "qa1" }
}
],
"Properties": {}
}
]'
...
а также пытался заменить "искра-env сhadoop-env но ничего не работает.
Естьэтот ответ с форумов aws. но я не могу понять, как это применить. Я работаю на EMR 5.3.1 и запускаю его с предварительно настроенным шагом из cli:aws emr create-cluster...