Результаты поиска по запросу "airflow"
запрос переносимости для обеих версий Python.
авно начал работать с Airflow. Я работаю над DAG, который: Запрашивает базу данных MySQLИзвлеките запрос и сохраните его в облачном хранилище в виде файла JSON.Загружает сохраненный файл JSON в BigQueryDag импортирует три ...
а вот мой заказ
ользую Airflow 1.8.1 и хочу отправить результат запроса sql от PostgreOperator. Вот мои задачи: check_task = PostgresOperator( task_id='check_task', postgres_conn_id='conx', sql="check_task.sql", xcom_push=True, dag=dag) ...
Отличный ответ. Всегда запускайте своих сотрудников с правами администратора (или другого пользователя), а не root.
я Airflow 1.9, запущенный в виртуальной среде, настроенный с помощью Celery и Redis, и он работает хорошо. Тем не менее, я хотел демонизировать настройки и использовал ...
, заставь его использовать стабильную ветку
ользую Airflow в кластерной среде, работающей на двух экземплярах AWS EC2. Один для мастера и один для работника. Рабочий узел периодически выдает эту ошибку при запуске «$ airflow worker»: [2018-08-09 16:15:43,553] {jobs.py:2574} WARNING - The ...
Я думаю, что это самое чистое, но не самое простое решение.
от вопрос уже есть ответ здесь: Есть ли способ создания / изменения подключений через Airflow API [/questions/51863881/is-there-a-way-to-create-modify-connections-through-airflow-api] 2 ответаПримечание: это не дубликат Экспорт переменных ...
Несколько строк кода было бы здорово.
виделаэто [https://stackoverflow.com/questions/46807297/airflow-externaltasksensor-gets-stuck] а такжеэто [https://stackoverflow.com/questions/52796647/airflow-external-sensor-gets-stuck-at-poking] вопросы по SO и внесены соответствующие ...
Поскольку вы не задаете конкретный вопрос, такое общее чтение должно быть информативным, и, возможно, вы сможете уточнить, что вам нужно.
читал в официальной документации Airflowпоследующий [https://airflow.apache.org/configuration.html#scaling-out-with-celery]: [/imgs/BeHip.png] Что это значит точно? Что авторы подразумевают под масштабированием? Это,когда этонедостаточно, ...