Resultados da pesquisa a pedido "airflow"
TriggerDagRunOperator do fluxo de ar como alterar a data de execução
Notei que, para a tarefa agendada, a data de execução foi definida no passado, de acordo com O fluxo de ar foi desenvolvido como uma solução para as necessidades de ETL. No mundo ETL, você normalmente resume os dados. Portanto, se eu quiser ...
O Airflow 1.9.0 está na fila, mas não está iniciando tarefas
O fluxo de ar aleatoriamente não está executando tarefas na fila, algumas tarefas nem sequer recebem status na fila. Eu continuo vendo abaixo nos logs do agendador [2018-02-28 02:24:58,780] {jobs.py:1077} INFO - No tasks to consider ...
Agendamento dag executado no Airflow
Tem uma consulta geral no Airflow É possível ter um arquivo dag agendado com base na programação de outro arquivo dag. Por exemplo, se eu tiver 2 dags, ou seja, dag1 e dag2. Estou tentando ver se posso executar o dag2 sempre que o dag1 for ...
Python Airflow - Resultado de retorno do PythonOperator
Eu escrevi um DAG com vários PythonOperators task1 = af_op.PythonOperator(task_id='Data_Extraction_Environment', provide_context=True, python_callable=Task1, dag=dag1) def Task1(**kwargs): return(kwargs['dag_run'].conf.get('file'))No ...
E-mail sobre falha ao usar o AWS SES no Apache Airflow DAG
Estou tentando receber o Airflow por e-mail usando o AWS SES sempre que uma tarefa no meu DAG falha na execução ou tenta executar novamente. Também estou usando minhas credenciais da AWS SES, em vez das minhas credenciais gerais da AWS. Meu ...
Fluxo de ar + aipo ou dask. Para que quando?
Eu li na documentação oficial do AirflowOs seguintes [https://airflow.apache.org/configuration.html#scaling-out-with-celery]: [/imgs/BeHip.png] o que isso significa, exatamente? O que os autores querem dizer com escalar? Isso é,quandoé ...
O Airflow Worker Daemon sai sem motivo visível
Eu tenho o Airflow 1.9 rodando em um ambiente virtual, configurado com o Aipo e o Redis e funciona bem. No entanto, eu queria daemonizar a configuração e usei as ...
Falha na instalação do Airflow 1.10
Eu tenho um ambiente de fluxo de ar em funcionamento usando o Airflow versão 1.9 em execução em uma instância do Amazon EC2. Preciso atualizar para a versão mais recente do Airflow, que é a 1.10. Eu tenho a opção de atualizar da versão 1.9 ...
DAGs não clicáveis no servidor da web do Google Cloud Composer, mas funcionando bem em um fluxo de ar local
estou a usarGoogle Cloud Composer [https://cloud.google.com/composer/](fluxo de ar gerenciado no Google Cloud Platform) com versão da imagemcomposer-0.5.3-airflow-1.9.0 e Python 2.7, e estou enfrentando um problema estranho: depois de importar ...
Airflow 1.10 - Falha na inicialização do agendador
Acabei de instalar dolorosamente o Airflow 1.10 graças aomeu post anterior aqui [https://stackoverflow.com/questions/51861453/airflow-1-10-installation-failing] . Temos uma única instância de ec2 em execução, nossa fila é o AWS Elastic ...