Creé una canalización DF (V2) (una vez ejecutada) para cargar archivos (.lta.gz) desde un servidor SFTP en un blob azul para obtener datos históricos. Funcionó muy bien. Todos los días habrá varios archivos nuevos en el servidor SFTP (que no pueden ser manipulados o eliminados). Por lo tanto, quiero crear una tubería de carga incremental que verifique diariamente si hay nuevos archivos, si es así ---> copie nuevos archivos.

¿Alguien tiene algún consejo para mí sobre cómo lograr esto?