Resultados de la búsqueda a petición "airflow"
Las tareas de flujo de aire se atascan en el estado "en cola" y nunca se ejecutan
Estoy usando Airflow v1.8.1 y ejecuto todos los componentes (trabajador, web, flor, planificador) en kubernetes & Docker. Uso Celery Executor con Redis y mis tareas son las siguientes: (start) -> (do_work_for_product1) ├ -> ...
Cómo permitir que los dags de flujo de aire sean solo para usuarios concretos
El problema es bastante simple. Necesito limitar los usuarios web de flujo de aire para ver y ejecutar solo ciertos DAG y tareas. Si es posible, preferiría no ...
Escribir en registros de flujo de aire
Una forma de escribir en los registros de Airflow es devolver una cadena desde un PythonOperator como en la línea ...
Cómo ejecutar el archivo de script bash en Airflow
Tengo un script bash que crea un archivo (si no existe) que quiero ejecutar en Airflow, pero cuando lo intento falla. ¿Cómo hago esto? #!/bin/bash #create_file.sh file=filename.txt if [ ! -e "$file" ] ; then touch "$file" fi if [ ! -w "$file" ] ...
Flujo de aire: PythonOperator: ¿por qué incluir 'ds' arg?
Al definir una función para usarla más tarde como python_callable, ¿por qué se incluye 'ds' como el primer argumento de la función? Por ejemplo: def python_func(ds, **kwargs): passRevisé la documentación de Airflow, pero no pude encontrar ...
Asignación de tareas a máquinas específicas con flujo de aire.
Soy nuevo en Airflow. Tengo un DAG que contiene una tarea que debería ejecutarse en una máquina específica (EMR cluster en mi caso). ¿Cómo puedo decirle al flujo de aire dónde ejecutar tareas específicas para que cada vez que se ejecute lo haga ...
Cómo reiniciar una tarea fallida en Airflow
Estoy usando unFiscal localy mi dag tiene3 tareasdonde la tarea (C) depende de la tarea (A). La tarea (B) y la tarea (A) pueden ejecutarse en paralelo, algo como a continuación A -> C B Entonces la tarea (A) ha falladoy perola tarea (B) ...
, ¿Cómo configuro la configuración de correo electrónico de Airflow para enviar un correo electrónico con errores?
Estoy tratando de hacer que una tarea de flujo de aire falle y falle intencionalmente pasando una línea Bash (thisshouldnotrun) eso no funciona. El flujo de aire está produciendo lo siguiente: [2017-06-15 17:44:17,869] {bash_operator.py:94} INFO ...
Las tareas agregadas al DAG durante el tiempo de ejecución no se pueden programar
Mi idea es tener una tareafoo que genera una lista de entradas (usuarios, informes, archivos de registro, etc.) y se inicia una tarea para cada elemento de la lista de entradas. El objetivo es utilizar el reintento de Airflow y otra lógica, en ...
¿Cómo anidar un DAG Airflow dinámicamente?
Tengo un DAG simple de tres operadores. El primero esPythonOperator con nuestra propia funcionalidad, los otros dos son operadores estándar deairflow.contrib (FileToGoogleCloudStorageOperator yGoogleCloudStorageToBigQueryOperator para ...