Resultados da pesquisa a pedido "airflow"
O Airflow Worker Daemon sai sem motivo visível
Eu tenho o Airflow 1.9 rodando em um ambiente virtual, configurado com o Aipo e o Redis e funciona bem. No entanto, eu queria daemonizar a configuração e usei as ...
Armazene e acesse a senha usando o Apache airflow
Estamos usando o fluxo de ar como um agendador. Quero chamar um operador bash simples em um DAG. O script bash precisa de senha como argumento para continuar o processamento. Como posso armazenar uma senha com segurança no fluxo de ar (config / ...
Fluxo de ar - Instância de tarefa no operador EMR
No Airflow, estou enfrentando o problema de que preciso passar ojob_flow_id para um dos meus passos emr. Eu sou capaz de recuperar ojob_flow_id do operador, mas quando vou criar as etapas a serem enviadas ao cluster, otask_instance valor não está ...
Fluxo de ar: PythonOperator: por que incluir 'ds' arg?
Ao definir uma função para ser usada posteriormente como python_callable, por que o 'ds' é incluído como o primeiro argumento da função? Por exemplo: def python_func(ds, **kwargs): passExaminei a documentação do Airflow, mas não consegui ...
Mensagem de falha no fluxo de ar
Como posso configurar o Airflow para que qualquer falha no DAG resulte (imediatamente) em uma mensagem de folga? Neste momento, eu o gerencio criando um slack_failed_task: slack_failed_task = SlackAPIPostOperator( ...
Airflow 1.10 - Falha na inicialização do agendador
Acabei de instalar dolorosamente o Airflow 1.10 graças aomeu post anterior aqui [https://stackoverflow.com/questions/51861453/airflow-1-10-installation-failing] . Temos uma única instância de ec2 em execução, nossa fila é o AWS Elastic ...
Fluxo de ar: tarefas na fila, mas não em execução
Eu sou novo no fluxo de ar e estou tentando configurá-lo para executar pipelines ETL. Eu consegui instalar fluxo de arpostgressalsãorabbitmqEu sou capaz de testar executar o turtorial dag. Quando tento agendar os trabalhos, o agendador é capaz ...
Fluxo de ar: passando um valor dinâmico para o operador Sub DAG
Eu sou novo no Airflow. Eu me deparei com um cenário em que o DAG pai precisa passar algum número dinâmico (digamosn) para Sub DAG. Onde o SubDAG usará esse número para criar dinamicamenten tarefas paralelas. A documentação do fluxo de ar não ...
Configuração de fluxo de ar para alta disponibilidade
Como implantar o agendador de fluxo de ar apache (formalmente conhecido como fluxo de ar do airbnb) em alta disponibilidade? Não estou perguntando sobre o DB de back-end ou o RabbitMQ que obviamente devem ser implantados na configuração de alta ...
Fluxo de ar: o arquivo de log não é local, local do log remoto não suportado
Não consigo ver os logs anexados às tarefas da interface do usuário do Airflow: [/imgs/8VLEc.png] As configurações relacionadas ao log no arquivo airflow.cfg são: remote_base_log_folder =base_log_folder ...