В настоящее время я использую redis -> s3 - >astic search -> kibana stack для передачи и визуализации моих логов. Но из-за большого объема данных в упругом поиске я могу хранить журналы до 7 дней.

Я хочу поместить кластер kafka в этот стек и сохранять журналы в течение большего количества дней. Я думаю о следующем стеке.

узлы приложения отправляют журналы в kafka -> кластер kafka -> кластер поиска эластик -> kibana

Как я могу использовать kafka для сохранения логов в течение большего количества дней?