@gstackoverflow да, в соответствии с исходным кодом клиентов Kafka. Я знаю, это звучит глупо, но в целом и с другой точки зрения, чего бы вы хотели достичь? В критически важных системах лучше выполнять фиксацию смещения вручную, если вы уверены, что сообщение обработано, в других случаях - вы можете предпочесть использование менее частой фиксации смещения для ускорения процесса. Однако смещение коммитов не является тривиальным, так как это потребует zookeeper и т. Д

аюэтот [https://www.safaribooksonline.com/library/view/kafka-the-definitive/9781491936153/ch04.html#callout_kafka_consumers__reading_data_from_kafka_CO2-1] : Автоматическая фиксация Самый простой способ зафиксировать смещения - ...

Коммиты commitSync и commitAsync используют функцию управления смещением kafka, и оба имеют недостатки. Если обработка сообщения завершается успешно и смещение фиксации завершается неудачно (не атомарно), и в то же время происходит перебалансировка раздела, ваше обработанное сообщение снова обрабатывается (дублирующая обработка) другим пользователем. Если у вас все в порядке с обработкой дубликатов сообщений, вы можете перейти к commitAsync (потому что он не блокирует и не обеспечивает низкую задержку, а обеспечивает фиксацию более высокого порядка. Так что у вас все должно быть в порядке). В противном случае перейдите к пользовательскому управлению смещением, которое заботится об атомарности при обработке и обновлении смещения (используйте внешнее хранилище смещений).

а ...

@dnaumenko Возможно не смещение, а общие метаданные источника :)

2.2 представил структурированный потоковый источник Kafka. Как я понимаю, он использует каталог контрольных точек HDFS для хранения смещений и гарантии доставки сообщений «точно один раз». Но старые доки ...

Добро пожаловать, Габриэль, пожалуйста, отметьте этот ответ как правильный

ужен ваш совет, если вы поможете мне, потому что мои знания VBA очень плохие. У меня есть 4 столбца и тысячи строк, я хотел бы, чтобы эта первая строка была ...

XGBoost - распределение Пуассона с различной экспозицией / смещением

Я пытаюсь использовать XGBoost, чтобы смоделировать частоту заявлений данных, сгенерированных из периодов воздействия неравной длины, но не смог заставить мо...

Кафка-потребитель смещает максимальное значение?

Я гуглил и читал документацию Kafka, но я не смог узнать максимальное значение потребительского смещения и есть ли смещение по кругу после максимального знач...

Получить позицию / смещение элемента относительно родительского контейнера?

Я привык работать с jQuery. Однако в моем текущем проекте я использую zepto.js. Zepto не предоставляет

Как я могу сместить временную метку панды на определенное количество месяцев?

Формула / алгоритм для смещения координат GPS

Laravel Eloquent пропустить, взять все?

Я заметил, что в Laravel, когда цепочка