это также не разрешается, очевидно, что что-то мешает kafka-consumer-groups.sh прочитать тему __consumer_offsets (при запуске с параметром --bootstrap-server, в противном случае она читает ее из zookeeper) и отобразить результаты, это то, что Кафка Инструмент обходится без проблем, и я считаю, что эти две проблемы связаны. И причина, по которой я считаю, что тема не уплотнена, заключается в том, что в ней есть сообщения с точно таким же ключом (и даже временной меткой), более старые, чем должны, согласно настройкам брокера. Kafka Tool также игнорирует определенные записи и не интерпретирует их как группы потребителей на этом экране. Почему kafka-consumer-groups.sh игнорирует все, что, вероятно, связано с некоторым повреждением этих записей.
я есть два вида записей журнала в server.log
Первый вид:
ПРЕДУПРЕЖДЕНИЕ Сброс первого грязного смещения__consumer_offsets-6 регистрировать начальное смещение 918, так какcheckpointed смещение 903 недопустимо. (kafka.log.LogCleanerManager$)
Второй вид:
INFO [TransactionCoordinator id=3] Initialized transactionalId Source: AppService Kafka consumer -> Not empty string filter -> CDMEvent mapper -> (NonNull CDMEvent filter -> Map -> Sink: Kafka CDMEvent producer, Nullable CDMEvent filter -> Map -> Sink: Kafka Error producer)-bddeaa8b805c6e008c42fc621339b1b9-2 with producerId 78004 and producer epoch 23122 on partition __transaction_state-45 (kafka.coordinator.transaction.TransactionCoordinator)
Я обнаружил, что упоминание о том, что удаление файла контрольных точек может помочь:
https://medium.com/@anishekagarwal/kafka-log-cleaner-issues-80a05e253b8a
«То, что мы собрались, было:
остановить брокера
удалить файл контрольных точек очистителя журнала
( cleaner-offset-checkpoint )
начать брокера
это решило проблему для нас. "
Безопасно ли попробовать это со всеми файлами контрольных точек(cleaner-offset-checkpoint, log-start-offset-checkpoint, recovery-point-offset-checkpoint, replication-offset-checkpoint) или это вообще не рекомендуется ни с одним из них?