Спасибо за информацию! Прямо сейчас, поскольку я также могу определять тематические разделы, я могу быть осторожным и смотреть в будущее с точки зрения емкости. но да, я буду помнить об этом инструменте на случай, если он понадобится мне в будущем.
исал одного потребителя Kafka (используя Spring Kafka), который читает из одной темы и является частью группы потребителей. Как только сообщение будет использовано, оно выполнит все последующие операции и перейдет к следующему смещению сообщения. Я упаковал это как файл WAR, и мой конвейер развертывания передает это одному экземпляру. Используя мой конвейер развертывания, я мог бы потенциально развернуть этот артефакт в нескольких экземплярах в моем пуле развертывания.
Однако я не могу понять следующее, когда я хочу, чтобы несколько потребителей были частью моей инфраструктуры:
На самом деле я могу определить несколько экземпляров в своем пуле развертывания, и у меня будет запущена эта WAR. Это означало бы, что все они слушают одну и ту же тему, являются частью одной и той же группы потребителей и фактически разделят разделы между собой. Нисходящая логика будет работать как есть. Это прекрасно работает для моего варианта использования, однако я не уверен, что это оптимальный подход?
Читая онлайн, я наткнулся на ресурсыВот а такжеВотгде люди определяют один потребительский поток, но внутренне создают несколько рабочих потоков. Есть также примеры, где мы могли бы определить несколько потребительских потоков, которые выполняют нисходящую логику. Думая об этих подходах и сопоставляя их со средами развертывания, мы могли бы достичь того же результата (как моё теоретическое решение выше), но с меньшим количеством машин.
Лично я думаю, что мое решение простое, масштабируемое, но может быть неоптимальным, хотя второй подход может быть оптимальным, но вы хотели бы узнать ваш опыт, предложения или какие-либо другие метрики / ограничения, которые я должен рассмотреть? Кроме того, я думаю с моим теоретическим решением, я мог бы фактически использовать простые машины как потребители Kafka.
Хотя я знаю, что я не разместил ни одного кода, пожалуйста, дайте мне знать, если мне нужно перенести этот вопрос на другой форум. Если вам нужны конкретные примеры кода, я тоже могу их предоставить, но я не думаю, что они важны в контексте моего вопроса.