Воздушный поток не засыпает последний запуск
По какой-то причине Airflow, похоже, не запускает последний прогон для dag с еженедельным интервалом расписания.
Текущая дата:
$ date
$ Tue Aug 9 17:09:55 UTC 2016
ДАГ:
from datetime import datetime
from datetime import timedelta
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
dag = DAG(
dag_id='superdag',
start_date=datetime(2016, 7, 18),
schedule_interval=timedelta(days=7),
default_args={
'owner': 'Jon Doe',
'depends_on_past': False
}
)
BashOperator(
task_id='print_date',
bash_command='date',
dag=dag
)
Запустить планировщик
$ airflow scheduler -d superdag
Можно ожидать всего четыре прогона DAG, поскольку планировщик должен выполнить обратную засыпку на 7/18, 7/25, 8/1 и 8/8. Однако последний запуск не запланирован.
РЕДАКТИРОВАТЬ 1:
Я понимаю, что Vineet, хотя, похоже, не объясняет мою проблему.
В моем примере выше дата начала работы группы DAG - 18 июля.
Первый прогон DAG: 18 июляВторой прогон DAG: 25 июляТретий прогон DAG: 1 августаЧетвертый прогон DAG: 8 августа (не бегать)Где каждый прогон DAG обрабатывает данные за предыдущую неделю.
Сегодня, 9 августа, я ожидаю, что четвертый прогон DAG будет выполнен с датой выполнения 8 августа, которая обрабатывает данные за последнюю неделю (с 1 августа по 8 августа), но это не так.