Tengo un trabajo por lotes de chispa que se ejecuta cada hora. Cada ejecución genera y almacena nuevos datos enS3 con el patrón de nomenclatura del directorioDATA/YEAR=?/MONTH=?/DATE=?/datafile.

Después de subir los datos aS3, Quiero investigarlos usandoAthena. Más, me gustaría visualizarlos enQuickSight conectándose a Athena como fuente de datos.

El problema es que, después de cada ejecución de mi lote de Spark, los datos recién generados almacenados enS3 no será descubierto por Athena, a menos que ejecute manualmente la consultaMSCK REPARI TABLE.

¿Hay alguna manera de hacer que Athena actualice los datos automáticamente, de modo que pueda crear una tubería de visualización de datos completamente automática?