Eu tenho um trabalho em lote que é executado a cada hora. Cada execução gera e armazena novos dados emS3 com o padrão de nomenclatura de diretórioDATA/YEAR=?/MONTH=?/DATE=?/datafile.

Depois de enviar os dados paraS3, Quero investigá-los usandoAthena. Mais, gostaria de visualizá-los emQuickSight conectando-se ao Athena como uma fonte de dados.

O problema é que, após cada execução do meu lote Spark, os dados gerados recentemente armazenados emS3 não será descoberto pelo Athena, a menos que eu execute manualmente a consultaMSCK REPARI TABLE.

Existe uma maneira de fazer com que o Athena atualize os dados automaticamente, para que eu possa criar um pipeline de visualização de dados totalmente automático?