определить ключи для разделения данных.

я есть пакетное задание, которое выполняется ежечасно. Каждый прогон генерирует и сохраняет новые данные вS3 с шаблоном именования каталоговDATA/YEAR=?/MONTH=?/DATE=?/datafile.

После загрузки данных вS3Я хочу исследовать их, используяAthena, Более того, я хотел бы представить их вQuickSight подключившись к Афине в качестве источника данных.

Проблема в том, что после каждого запуска моего пакета Spark вновь сгенерированные данные сохраняются вS3 не будет обнаружена Афиной, если я не выполню запрос вручнуюMSCK REPARI TABLE.

Есть ли способ заставить Athena автоматически обновлять данные, чтобы я мог создать полностью автоматический конвейер визуализации данных?

Ответы на вопрос(1)

Ваш ответ на вопрос