kafka.apache.org/0101/documentation.html#upgrade_1010_notable
ал другие темы и обошел проблему с помощью нового идентификатора группы, однако я хотел бы понять, что может вызвать это.
У меня есть тема с 16 разделами, я установил session.timeout.ms = 30000 и max.poll.interval.ms = 30000000.
Я запускаю свою программу и нажимаю ctrl + c, чтобы она не закрывалась должным образом. После того, как я догадался, 16 раз, я застрял в этой проблеме повторного присоединения. session.timeout.ms - это время ожидания пульса, поэтому через 30 секунд он должен ударить моего потребителя, а мои разделы должны «освободиться», верно? Или это только прослушивание моего max.poll.interval.ms?
РЕДАКТИРОВАТЬ: Я все еще получаю эту ошибку периодически, и когда это происходит, я должен перезапустить всех своих потребителей. Это происходит даже тогда, когда у моих потребителей все в порядке, а затем они начинают застрять при воссоединении (ни один потребитель не был добавлен / удален). Вот журнал ошибок, когда я пытаюсь подключиться к нему после с новым потребителем, когда он застрял в этом состоянии:
2017-06-29 17:28:16,215 DEBUG [AbstractCoordinator] - [scheduler-1] - Sending JoinGroup ((type: JoinGroupRequest, groupId=ingestion-matching-kafka-consumer-group-dev1, sessionTimeout=30000, rebalanceTimeout=43200000, memberId=, protocolType=consumer, groupProtocols=org.apache.kafka.common.requests.JoinGroupRequest$ProtocolMetadata@b45e5583)) to coordinator kafka04-prod01.messagehub.services.us-south.bluemix.net:9093 (id: 2147483644 rack: null)
2017-06-29 17:37:21,261 DEBUG [NetworkClient] - [scheduler-1] - Node 2147483644 disconnected.
2017-06-29 17:37:21,263 DEBUG [ConsumerNetworkClient] - [scheduler-1] - Cancelled JOIN_GROUP request {api_key=11,api_version=1,correlation_id=19,client_id=ingestion-matching-kafka-consumer-dev1} with correlation id 19 due to node 2147483644 being disconnected
Это первое и последнее сообщения, которые я считаю актуальными. Вот соответствующие таймауты, которые я установил:
session.timeout.ms=30000
max.poll.interval.ms=43200000
request.timeout.ms=43205000 # the docs said to keep this higher than max.poll.interval.ms
enable.auto.commit=false
Должен ли я установить heartbeat.interval.ms тоже? Является ли это интервалом, когда тактовые импульсы отправляются потребителем брокеру автоматически в некотором фоновом потоке (я прочитал документы, но по какой-то причине я не могу полностью обернуть его вокруг)?