дал (один раз) конвейер DF (V2) для загрузки файлов (.lta.gz) с SFTP-сервера в лазурный BLOB-объект для получения исторических данных. Работал красиво. Каждый день на SFTP-сервере будет появляться несколько новых файлов (которыми нельзя манипулировать или удалять). Поэтому я хочу создать конвейер инкрементальной загрузки, который ежедневно проверяет наличие новых файлов - если да ---> копировать новые файлы.

У кого-нибудь есть какие-нибудь советы для меня, как этого добиться?