Las tareas de flujo de aire se atascan en el estado "en cola" y nunca se ejecutan
Estoy usando Airflow v1.8.1 y ejecuto todos los componentes (trabajador, web, flor, planificador) en kubernetes & Docker. Uso Celery Executor con Redis y mis tareas son las siguientes:
(start) -> (do_work_for_product1)
├ -> (do_work_for_product2)
├ -> (do_work_for_product3)
├ …
Entonces elstart La tarea tiene múltiples aguas abajo. Y configuré la configuración relacionada con la concurrencia de la siguiente manera:
parallelism = 3
dag_concurrency = 3
max_active_runs = 1
Luego, cuando ejecuto este DAG manualmente (no estoy seguro de si nunca sucede en una tarea programada), algunos se ejecutan aguas abajo, pero otros se atascan en el estado "en cola".
Si borro la tarea de la interfaz de usuario de administrador, se ejecuta. No hay registro de trabajo (después de procesar algunos primeros pasos posteriores, simplemente no genera ningún registro).
Registro del servidor web (no estoy seguroworker exiting está relacionado)
/usr/local/lib/python2.7/dist-packages/flask/exthook.py:71: ExtDeprecationWarning: Importing flask.ext.cache is deprecated, use flask_cache instead.
.format(x=modname), ExtDeprecationWarning
[2017-08-24 04:20:56,496] [51] {models.py:168} INFO - Filling up the DagBag from /usr/local/airflow_dags
[2017-08-24 04:20:57 +0000] [27] [INFO] Handling signal: ttou
[2017-08-24 04:20:57 +0000] [37] [INFO] Worker exiting (pid: 37)
Tampoco hay registro de errores en el planificador. Y una serie de tareas atascadas está cambiando cada vez que intento esto.
Como también uso Docker, me pregunto si esto está relacionado:https://github.com/puckel/docker-airflow/issues/94 Pero hasta ahora, no tengo idea.
¿Alguien se ha enfrentado a un problema similar o tiene alguna idea de lo que puedo investigar para este problema ...?