определить ключи для разделения данных.
я есть пакетное задание, которое выполняется ежечасно. Каждый прогон генерирует и сохраняет новые данные вS3
с шаблоном именования каталоговDATA/YEAR=?/MONTH=?/DATE=?/datafile
.
После загрузки данных вS3
Я хочу исследовать их, используяAthena
, Более того, я хотел бы представить их вQuickSight
подключившись к Афине в качестве источника данных.
Проблема в том, что после каждого запуска моего пакета Spark вновь сгенерированные данные сохраняются вS3
не будет обнаружена Афиной, если я не выполню запрос вручнуюMSCK REPARI TABLE
.
Есть ли способ заставить Athena автоматически обновлять данные, чтобы я мог создать полностью автоматический конвейер визуализации данных?