У меня есть веб-приложение, которое должно отправлять отчеты о его использовании. Я хочу использовать Amazon RedShift в качестве хранилища данных для этой цели. Как мне собирать данные?

Каждый раз, когда пользователь взаимодействует с моим приложением, я хочу сообщить об этом ... так когда мне следует записывать файлы на S3? а сколько? Я имею в виду следующее: - Если информация не будет отправлена немедленно, то я могу потерять ее в результате потери соединения или из-за ошибки в моей системе, когда она была собрана, и подготовиться к отправке на S3 ... - Если я буду записывать файлы в S3 при каждом взаимодействии с пользователем, я получу сотни файлов (в каждом файле есть минимальное количество данных), которые необходимо будет обработать, отсортировать, удалить после копирования в RedShift ... эта доза не выглядит как хорошее решение.

Что мне не хватает? Должен ли я использовать DynamoDB вместо этого, Должен ли я вместо этого использовать простую вставку в Redshift!?

Если мне нужно записать данные в DynamoDB, я должен удалить таблицу удержания после того, как была скопирована ... Каковы лучшие практики?

В любом случае, каковы лучшие методы, чтобы избежать дублирования данных в RedShift?

Ценю помощь!