Resultados de la búsqueda a petición "airflow"
Flujo de aire dentro de la ventana acoplable que ejecuta un contenedor acoplable
Tengo flujo de aire ejecutándose en una instancia EC2, y estoy programando algunas tareas que hacen girar un contenedor acoplable. ¿Cómo puedo hacer eso? ¿Necesito instalar la ventana acoplable en mi contenedor de flujo de aire? Y cuál es el ...
Error de flujo de aire al importar DAG usando el complemento: las relaciones solo se pueden establecer entre Operadores
He escrito un complemento de flujo de aire que simplemente contiene un operador personalizado (para admitir CMEK en BigQuery). Puedo crear un DAG simple con una sola tarea que use este operador y que se ejecute bien. Sin embargo, si intento ...
Airflow 1.10 - El inicio del programador falla
Acabo de instalar dolorosamente Airflow 1.10 gracias amy publicación anterior aquí [https://stackoverflow.com/questions/51861453/airflow-1-10-installation-failing] . Tenemos una única instancia de ec2 en ejecución, nuestra cola es AWS ...
Airflow Logs BrokenPipeException
Estoy usando un entorno de flujo de aire en clúster donde tengo cuatro instancias de AWS ec2 para los servidores. ec2-instancia Servidor 1: Servidor web, Programador, Cola de Redis, Base de datos PostgreSQL Servidor 2: Servidor web Servidor ...
Cómo ejecutar Airflow en Windows
Las instrucciones habituales para ejecutar Airflow no se aplican en un entorno Windows: # airflow needs a home, ~/airflow is the default, # but you can lay foundation somewhere else if you prefer # (optional) export AIRFLOW_HOME=~/airflow ...
Airflow Worker Daemon sale sin motivo visible
Tengo Airflow 1.9 ejecutándose dentro de un entorno virtual, configurado con Celery y Redis y funciona bien. Sin embargo, quería hacer un demonio de la configuración y usé las ...
Cómo ejecutar el archivo de script bash en Airflow
Tengo un script bash que crea un archivo (si no existe) que quiero ejecutar en Airflow, pero cuando lo intento falla. ¿Cómo hago esto? #!/bin/bash #create_file.sh file=filename.txt if [ ! -e "$file" ] ; then touch "$file" fi if [ ! -w "$file" ] ...
Flujo de aire: instancia de tarea en operador EMR
En Airflow, me enfrento al problema que necesito para pasar eljob_flow_id a uno de mis pasos emr. Soy capaz de recuperar eljob_flow_id del operador, pero cuando voy a crear los pasos para enviar al clúster, eltask_instance El valor no ...
zona horaria predeterminada de apache-airflow 1.9 establecida en no utc
Recientemente actualicé la versión Airflow de Airflow 1.8 a Apache-Airflow 1.9, la actualización fue exitosa y escalé el entorno usando Celery Executor, todo parecía funcionar bien, pero las fechas de inicio de dag y tareas, fechas de ejecución, ...
Cree y use el operador Conexiones en Airflow en tiempo de ejecución [duplicado]
Esta pregunta ya tiene una respuesta aquí: Hay una manera de crear / modificar conexiones a través de Airflow API [/questions/51863881/is-there-a-way-to-create-modify-connections-through-airflow-api] 2 respuestasNota: NO es un duplicado ...