Resultados de la búsqueda a petición "airflow-scheduler"
Las tareas de flujo de aire se atascan en el estado "en cola" y nunca se ejecutan
Estoy usando Airflow v1.8.1 y ejecuto todos los componentes (trabajador, web, flor, planificador) en kubernetes & Docker. Uso Celery Executor con Redis y mis tareas son las siguientes: (start) -> (do_work_for_product1) ├ -> ...
Las tareas agregadas al DAG durante el tiempo de ejecución no se pueden programar
Mi idea es tener una tareafoo que genera una lista de entradas (usuarios, informes, archivos de registro, etc.) y se inicia una tarea para cada elemento de la lista de entradas. El objetivo es utilizar el reintento de Airflow y otra lógica, en ...
¿Cómo uso la opción --conf en el flujo de aire?
Estoy tratando de ejecutar un DAG de flujo de aire y necesito pasar algunos parámetros para las tareas. ¿Cómo leo la cadena JSON pasada como parámetro --conf en la línea de comandotrigger_dag comando, en el archivo DAG de python. ex:airflow ...
os @DAG no se pueden hacer clic en el servidor web de Google Cloud Composer, pero funcionan bien en un Airflow local
Estoy usandoGoogle Cloud Composer [https://cloud.google.com/composer/] (flujo de aire administrado en Google Cloud Platform) con la versión de imagencomposer-0.5.3-airflow-1.9.0 y Python 2.7, y me enfrento a un problema extraño: después de ...
AirflowException: error del comando Celery: el nombre de host registrado no coincide con el nombre de host de esta instancia
Estoy ejecutando Airflow en un entorno en clúster que se ejecuta en dos instancias de AWS EC2. Uno para el maestro y otro para el trabajador. Sin embargo, el nodo de trabajo genera periódicamente este error al ejecutar "$ airflow ...
Airflow 1.10 Error de instalación
Tengo un entorno Airflow que funciona con Airflow versión 1.9 que se ejecuta en una instancia de Amazon EC2. Necesito actualizar a la última versión de Airflow que es 1.10. Tengo la opción de actualizar desde la versión 1.9 o instalar ...
Airflow 1.10 - El inicio del programador falla
Acabo de instalar dolorosamente Airflow 1.10 gracias amy publicación anterior aquí [https://stackoverflow.com/questions/51861453/airflow-1-10-installation-failing] . Tenemos una única instancia de ec2 en ejecución, nuestra cola es AWS ...
Flujo de aire: ¿Cómo impulsar el valor de xcom desde PostgreOperator?
Estoy usando Airflow 1.8.1 y quiero enviar el resultado de una solicitud sql de PostgreOperator. Aquí están mis tareas: check_task = PostgresOperator( task_id='check_task', postgres_conn_id='conx', sql="check_task.sql", xcom_push=True, dag=dag) ...
Airflow 1.9.0 está haciendo cola pero no está iniciando tareas
Airflow no ejecuta aleatoriamente tareas en cola, algunas tareas ni siquiera obtienen el estado en cola. Sigo viendo a continuación en los registros del planificador [2018-02-28 02:24:58,780] {jobs.py:1077} INFO - No tasks to consider ...
Airflow: ExternalTaskSensor no activa la tarea
Ya he vistoest [https://stackoverflow.com/questions/46807297/airflow-externaltasksensor-gets-stuck] yest [https://stackoverflow.com/questions/52796647/airflow-external-sensor-gets-stuck-at-poking] preguntas sobre SO e hizo los cambios en ...
Página 1 de 2