Resultados de la búsqueda a petición "airflow"
configurar el flujo de aire con el operador bigquery
Estoy experimentando con el flujo de aire para las tuberías de datos. Desafortunadamente, no puedo hacer que funcione con el operador bigquery hasta ahora. He buscado una solución lo mejor que he podido, pero todavía estoy atascado. Estoy usando ...
Las tareas agregadas al DAG durante el tiempo de ejecución no se pueden programar
Mi idea es tener una tareafoo que genera una lista de entradas (usuarios, informes, archivos de registro, etc.) y se inicia una tarea para cada elemento de la lista de entradas. El objetivo es utilizar el reintento de Airflow y otra lógica, en ...
El flujo de aire no rellena la última ejecución
Por alguna razón, Airflow no parece desencadenar la última ejecución de un dag con un intervalo de programación semanal. Fecha actual: $ date $ Tue Aug 9 17:09:55 UTC 2016TROZO DE CUERO: from datetime import datetime from datetime import ...
Conexión de flujo de aire s3 usando la interfaz de usuario
He estado tratando de usar Airflow para programar un DAG. Uno de los DAG incluye una tarea que carga datos del depósito s3. Para el propósito anterior necesito configurar la conexión s3. Pero la interfaz de usuario proporcionada por el flujo de ...
Mensaje flojo fallido del flujo de aire
¿Cómo puedo configurar Airflow para que cualquier falla en el DAG resulte (inmediatamente) en un mensaje flojo? En este momento lo manejo creando una slack_failed_task: slack_failed_task = SlackAPIPostOperator( ...
¿Cómo manejar adecuadamente el horario de verano en el flujo de aire de Apache?
En el flujo de aire, se supone que todo es UTC (que no se ve afectado por el horario de verano). Sin embargo, tenemos flujos de trabajo que ofrecen elementos basados en zonas horarias afectadas por el horario de verano. Un escenario de ...
Airflow: cambio del tiempo de crontab para un DAG en Airflow
Tengo un DAG que funciona todos los días a las 3:00, funcionó bien durante las últimas semanas. He actualizado la fecha para que se ejecute ahora a las 7:00, pero aparentemente durante los últimos 2 días no se ejecutó. Puedo ver las tareas de ...
Apache Airflow: Control sobre el registro [Desactivar / Ajustar el nivel de registro]
Estoy usando Airflow 1.7.1.3 instalado usando pip Me gustaría limitar el registro al nivel de ERROR para el flujo de trabajo que ejecuta el planificador. No se pudo encontrar nada más allá de configurar la ubicación de los archivos de registro ...
Flujo de aire: el archivo de registro no es local, ubicación de registro remoto no compatible
No puedo ver los registros adjuntos a las tareas desde la interfaz de usuario de Airflow: [/imgs/8VLEc.png] Las configuraciones relacionadas con el registro en el archivo airflow.cfg son: remote_base_log_folder =base_log_folder ...
Python Airflow - Devuelve el resultado de PythonOperator
He escrito un DAG con múltiples PythonOperators task1 = af_op.PythonOperator(task_id='Data_Extraction_Environment', provide_context=True, python_callable=Task1, dag=dag1) def Task1(**kwargs): return(kwargs['dag_run'].conf.get('file')) Desde ...