Resultados de la búsqueda a petición "airflow"
Flujo de aire: tareas en cola pero no en ejecución
Soy nuevo en el flujo de aire e intento configurar el flujo de aire para ejecutar tuberías ETL. Pude instalar flujo de airepostgresapiorabbitmqPuedo probar ejecutar el dag turtorial. Cuando intento programar los trabajos, el planificador puede ...
¿Cómo uso la opción --conf en el flujo de aire?
Estoy tratando de ejecutar un DAG de flujo de aire y necesito pasar algunos parámetros para las tareas. ¿Cómo leo la cadena JSON pasada como parámetro --conf en la línea de comandotrigger_dag comando, en el archivo DAG de python. ex:airflow ...
Flujo de aire: pase {{ds}} como parámetro a PostgresOperator
Me gustaría usar la fecha de ejecución como parámetro para mi archivo sql: Lo intenté dt = '{{ ds }}' s3_to_redshift = PostgresOperator( task_id='s3_to_redshift', postgres_conn_id='redshift', sql='s3_to_redshift.sql', params={'file': ...
Asignación de tareas a máquinas específicas con flujo de aire.
Soy nuevo en Airflow. Tengo un DAG que contiene una tarea que debería ejecutarse en una máquina específica (EMR cluster en mi caso). ¿Cómo puedo decirle al flujo de aire dónde ejecutar tareas específicas para que cada vez que se ejecute lo haga ...
, ¿Cómo configuro la configuración de correo electrónico de Airflow para enviar un correo electrónico con errores?
Estoy tratando de hacer que una tarea de flujo de aire falle y falle intencionalmente pasando una línea Bash (thisshouldnotrun) eso no funciona. El flujo de aire está produciendo lo siguiente: [2017-06-15 17:44:17,869] {bash_operator.py:94} INFO ...
Mensaje flojo fallido del flujo de aire
¿Cómo puedo configurar Airflow para que cualquier falla en el DAG resulte (inmediatamente) en un mensaje flojo? En este momento lo manejo creando una slack_failed_task: slack_failed_task = SlackAPIPostOperator( ...
Las tareas agregadas al DAG durante el tiempo de ejecución no se pueden programar
Mi idea es tener una tareafoo que genera una lista de entradas (usuarios, informes, archivos de registro, etc.) y se inicia una tarea para cada elemento de la lista de entradas. El objetivo es utilizar el reintento de Airflow y otra lógica, en ...
¿Cómo anidar un DAG Airflow dinámicamente?
Tengo un DAG simple de tres operadores. El primero esPythonOperator con nuestra propia funcionalidad, los otros dos son operadores estándar deairflow.contrib (FileToGoogleCloudStorageOperator yGoogleCloudStorageToBigQueryOperator para ...
Flujo de aire: cómo pasar la variable xcom a la función Python
Necesito hacer referencia a una variable que es devuelta por unBashOperator. Puede que esté haciendo esto mal, así que por favor perdóname. En mitask_archive_s3_file, Necesito obtener el nombre de archivo deget_s3_file. La tarea simplemente ...
Cómo reiniciar una tarea fallida en Airflow
Estoy usando unFiscal localy mi dag tiene3 tareasdonde la tarea (C) depende de la tarea (A). La tarea (B) y la tarea (A) pueden ejecutarse en paralelo, algo como a continuación A -> C B Entonces la tarea (A) ha falladoy perola tarea (B) ...