В настоящее время у меня есть архитектура с filebeat в качестве отправителя журналов, который отправляет журналы в экземпляр индексатора хранилища журналов, а затем в управляемый эластичный поиск в AWS. Из-за постоянных TCP-соединений я не могу загрузить баланс с помощью нескольких экземпляров-индексаторов AWS ELB, так как filebeats всегда выбирает экземпляры и отправляет их туда. Поэтому я решил использовать Redis. Теперь, видя, как трудно масштабировать Redis и сделать его высокодоступным компонентом в стеке ELK, я хочу спросить, в чем же смысл Redis. Я прочитал миллион раз, что он действует как буфер, но если filebeats перестает отправлять журналы в logstash, если logstash не может справиться с нагрузкой, зачем нам вообще нужен буфер. Filebeat достаточно умен, чтобы знать, чтобы остановить отправку журналов. Logstash достаточно умен, чтобы прекратить отправку журналов для упругого поиска, если упругий поиск не работает. Таким образом, трубопровод останавливается. Я действительно не понимаю, что redis выступает в качестве буфера в каждой стандартной архитектуре ELK.