В пользовательском интерфейсе нет указаний на то, почему задачи ставятся в очередь, он просто говорит: «неизвестно, все зависимости выполнены ...» Предоставляя демону / оператору воздушного потока разрешение на запись для исправления.
ичок в воздушном потоке и пытаюсь настроить воздушный поток для запуска конвейеров ETL. Я смог установить
расход воздухаPostgresсельдерейRabbitMQЯ могу протестировать тестовый тур. Когда я пытаюсь составить расписание заданий, планировщик может забрать его и поставить в очередь задания, которые я мог видеть в пользовательском интерфейсе, но задачи не выполняются. Может ли кто-нибудь помочь мне решить эту проблему? Я считаю, что мне не хватает самой основной концепции воздушного потока здесь. ниже находится airflow.cfg
Вот мой конфигурационный файл:
[core]
airflow_home = /root/airflow
dags_folder = /root/airflow/dags
base_log_folder = /root/airflow/logs
executor = CeleryExecutor
sql_alchemy_conn = postgresql+psycopg2://xxxx.amazonaws.com:5432/airflow
api_client = airflow.api.client.local_client
[webserver]
web_server_host = 0.0.0.0
web_server_port = 8080
web_server_worker_timeout = 120
worker_refresh_batch_size = 1
worker_refresh_interval = 30
[celery]
celery_app_name = airflow.executors.celery_executor
celeryd_concurrency = 16
worker_log_server_port = 8793
broker_url = amqp://rabbit:[email protected]/rabbitmq_vhost
celery_result_backend = db+postgresql+psycopg2://postgres:[email protected]:5432/airflow
flower_host = 0.0.0.0
flower_port = 5555
default_queue = default
ДАГ:Это учебник, который я использовал
и дата начала для моего dag - 'start_date': datetime (2017, 4, 11),