Resultados de la búsqueda a petición "airflow"
Airflow 1.10 Error de instalación
Tengo un entorno Airflow que funciona con Airflow versión 1.9 que se ejecuta en una instancia de Amazon EC2. Necesito actualizar a la última versión de Airflow que es 1.10. Tengo la opción de actualizar desde la versión 1.9 o instalar ...
Airflow 1.10 - El inicio del programador falla
Acabo de instalar dolorosamente Airflow 1.10 gracias amy publicación anterior aquí [https://stackoverflow.com/questions/51861453/airflow-1-10-installation-failing] . Tenemos una única instancia de ec2 en ejecución, nuestra cola es AWS ...
Cómo considerar el horario de verano cuando se usa el cronograma en Airflow
En Airflow, me gustaría que un trabajo se ejecute a una hora específica cada día en una zona horaria que no sea UTC. ¿Cómo puedo hacer para programar esto? El problema es que una vez que se activa el horario de verano, mi trabajo se ejecutará ...
¿Hay alguna manera de enviar trabajos espía en diferentes servidores que ejecutan master
Tenemos el requisito de programar trabajos de chispa, ya que estamos familiarizados con el flujo de aire apache, queremos seguir adelante para crear diferentes flujos de trabajo. Busqué en la web pero no encontré una guía paso a paso para ...
Error de flujo de aire al importar DAG usando el complemento: las relaciones solo se pueden establecer entre Operadores
He escrito un complemento de flujo de aire que simplemente contiene un operador personalizado (para admitir CMEK en BigQuery). Puedo crear un DAG simple con una sola tarea que use este operador y que se ejecute bien. Sin embargo, si intento ...
Airflow: cambio del tiempo de crontab para un DAG en Airflow
Tengo un DAG que funciona todos los días a las 3:00, funcionó bien durante las últimas semanas. He actualizado la fecha para que se ejecute ahora a las 7:00, pero aparentemente durante los últimos 2 días no se ejecutó. Puedo ver las tareas de ...
El flujo de aire no rellena la última ejecución
Por alguna razón, Airflow no parece desencadenar la última ejecución de un dag con un intervalo de programación semanal. Fecha actual: $ date $ Tue Aug 9 17:09:55 UTC 2016TROZO DE CUERO: from datetime import datetime from datetime import ...
Configuración de flujo de aire para alta disponibilidad
¿Cómo implementar el planificador de flujo de aire apache (conocido formalmente como flujo de aire de airbnb) en alta disponibilidad? No estoy preguntando sobre el backend DB o RabbitMQ que obviamente debería implementarse en una configuración ...
Agregar registros a los registros de flujo de aire
¿Cómo puedo agregar mis propios registros en los registros de Apache Airflow que se generan automáticamente? cualquier declaración impresa no se registrará allí, así que me preguntaba cómo puedo agregar mis registros para que también se muestren ...
¿Es posible que el programador Airflow termine primero el ciclo del día anterior antes de comenzar el siguiente?
En este momento, los nodos en mi DAG continúan con la tarea del día siguiente antes de que finalice el resto de los nodos de ese DAG. ¿Hay alguna manera de que espere a que termine el resto del DAG antes de pasar al ciclo DAG del ...