Как oozie обрабатывать зависимости?

У меня есть несколько вопросов о библиотеках общего доступа oozie 2.3:

В настоящее время я определил библиотеки общего доступа в нашем координаторе.properties:

oozie.use.system.libpath=true 
oozie.libpath=<hdfs_path>

Вот мои вопросы:

When share libraries are copied to other data node and how many data node will get share libraries?

Are the share libraries copied to other data node based on number of wf in a coordinator job or they are only copied once per coordinator job?

Ответы на вопрос(1)

oozie.libpath свойство фактически означает, что OOZIE настроит эти библиотеки дляmapred.cache.files свойство конфигурации (это свойство DistributedCache), когда выполняются действия в вашем рабочем процессе.

Затем Hadoop позаботится о копировании этих jar-файлов в каждый узел кластера один раз за задание, а затем задачи будут настроены с помощью jar-файла в свойстве конфигурации classpathmapred.job.classpath.files

Таким образом, в ответ на ваш второй вопрос они будут скопированы для каждого действия в рабочем процессе, а не один раз для каждого задания координатора. Таким образом, если у вас есть задание wf, которое имеет 4 действия mapreduce, библиотеки будут копироваться в каждый трекер задач (только те трекеры задач, которые участвуют в задании mapreduce) 4 раза за время существования этого рабочего процесса.

 03 окт. 2014 г., 20:45
@TerminalUser - это тип представления заданий hadoop. не имеет ничего общего с oozie. Одним из обходных путей является то, что вы отправляете одно задание, которое запускает другие задания по завершении, но это очень плохая идея, нарушающая стандартную методологию.
 17 сент. 2012 г., 00:55
Я понимаю, что это означает, что зависимости от системного libpath будут загружаться из HDFS всегда и избегать использования распределенного кэша при каждом выполнении рабочего процесса, так?
 Terminal User15 июн. 2012 г., 20:13
Можно ли обновить несколько действий или WFS для совместного использования одного и того же распределенного кэша?
 15 июн. 2012 г., 20:16
Не уверен, что понимаю, о чем вы спрашиваете

Ваш ответ на вопрос