Переопределить mapreduce.fileoutputcommitter.marksuccessfuljobs hadoop в oozie


mapreduce.fileoutputcommitter.marksuccessfuljobs
false

Я хочу переопределить указанное выше свойство на true. Свойство должно быть ложным для остальных заданий в кластере, но мне нужно, чтобы в моем рабочем процессе oozie имелся цикл создания файла _SUCCESS в выходном каталоге после завершения задания. Это действие улья в рабочем процессе, который записывает вывод. Пожалуйста помоги.

Ответы на вопрос(3)

dfs -touchz '$table_base_path'/dt='${partition}'/_SUCCESS

https://archive.cloudera.com/cdh4/cdh/4/hive/language_manual/cli.html

 Yi Wang23 авг. 2017 г., 18:27
это решает мою проблему!

и для создания флага.

Вот'Вот полный пример:http://nathan.vertile.com/blog/2014/09/02/oozie-data-pipeline-done-flag/

 dehrg04 сент. 2014 г., 00:42
Хотя эта ссылка может ответить на вопрос, лучше включить сюда основные части ответа и предоставить ссылку для справки. Ответы, содержащие только ссылки, могут стать недействительными, если связанная страница изменится

Hive отменяет эту возможность, устанавливая егоСобственный NullOutputComitter:

conf.setOutputCommitter(NullOutputCommitter.class);

увидеть

src/shims/src/0.20/java/org/apache/hadoop/hive/shims/Hadoop20Shims.java
src/shims/src/common-secure/java/org/apache/hadoop/hive/shims/HadoopShimsSecure.java

Похож на тебя'Вам нужно будет создать флаг вручную. Мы подалиУлей-3700 за это.

 Neil Best29 февр. 2016 г., 18:49
Для этого есть билет на Hive Jira?
 Daniel Darabos11 сент. 2017 г., 11:16
Я думаюissues.apache.org/jira/browse/HIVE-3700 это билет. Я добавил это к ответу. (На билете нет ответа с 2012 года.)

Ваш ответ на вопрос