Criei um pipeline DF (V2) (uma vez executado) para carregar arquivos (.lta.gz) de um servidor SFTP em um blob azul para obter dados históricos. Trabalhou lindamente. Todos os dias haverá vários novos arquivos no servidor SFTP (que não podem ser manipulados ou excluídos). Então, eu quero criar um pipeline de carregamento incremental que verifique diariamente novos arquivos - se sim ---> copie novos arquivos.

Alguém tem alguma dica para mim como conseguir isso?