Результаты поиска по запросу "apache-kafka"
С приведенными ниже изменениями код работает нормально.
виваюсьSpring Boot + Apache Kafka + Apache Zookeeper пример. Я установил / настройкаApache Zookeeper and Apache Kafka на моей локальной машине windows. Я взял ссылку по ...
Кроме того, не делайте повторные перезапуски брокера, как это. Вы должны сначала определить, кто является Контроллером, а затем закрыть его последним.
работает пять узлов кластера с 3 зоопарками - все они являются виртуальными машинами. Мы должны часто перезагружать кластер для некоторых аппаратных исправлений. Мы написали ANSI-скрипт для отключения кластера в следующем порядке: Остановите ...
Я думаю, что вы можете использовать что-то вроде этого:
ли способ сделать операцию, подобную ветви, но поместить запись в каждый выходной поток, предикат которого оценивается как true? Brach помещает запись в первое совпадение (документация: запись помещается в один и только один выходной поток при ...
будет нарушен. Я понимаю, что это может быть неуклюжим в сценарии тестирования, однако в реальном развертывании это потоковая обработка и, следовательно, никаких проблем.
исал этот код в потоковом приложении Kafka: KGroupedStream<String, foo> groupedStream = stream.groupByKey(); groupedStream.windowedBy( SessionWindows.with(Duration.ofSeconds(3)).grace(Duration.ofSeconds(3))) .aggregate(() -> {...}) ...
это также не разрешается, очевидно, что что-то мешает kafka-consumer-groups.sh прочитать тему __consumer_offsets (при запуске с параметром --bootstrap-server, в противном случае она читает ее из zookeeper) и отобразить результаты, это то, что Кафка Инструмент обходится без проблем, и я считаю, что эти две проблемы связаны. И причина, по которой я считаю, что тема не уплотнена, заключается в том, что в ней есть сообщения с точно таким же ключом (и даже временной меткой), более старые, чем должны, согласно настройкам брокера. Kafka Tool также игнорирует определенные записи и не интерпретирует их как группы потребителей на этом экране. Почему kafka-consumer-groups.sh игнорирует все, что, вероятно, связано с некоторым повреждением этих записей.
я есть два вида записей журнала в server.log Первый вид: ПРЕДУПРЕЖДЕНИЕ Сброс первого грязного смещения__consumer_offsets-6 регистрировать начальное смещение 918, так какcheckpointed смещение 903 недопустимо. ...
@matthias j sax
дняя версия kafka поддерживает семантику «точно один раз» (EoS). Чтобы поддержать это понятие, дополнительные детали добавляются к каждому сообщению. Это означает, что у вашего потребителя; если вы печатаете смещения сообщений, они не обязательно ...
Вы должны использовать ключи для идентификации каждого сообщения, которое вы хотите отправить, т.е. если вы хотите прочитать все сообщения из 100-го сообщения. Считайте с 100-го смещения до message.key <100 сбросить.
лизовал простой процессор записи мертвых букв Kafka. Он отлично работает при использовании записей, созданных производителем консоли. Однако я считаю, что наши приложения Kafka Streams не гарантируют, что при создании записей по темам приемника ...
Как интегрировать Storm и Kafka [закрыто]
Я работал вБуря [https://en.wikipedia.org/wiki/Storm_%28event_processor%29]и разработал базовую программу, которая использует локальный текстовый файл в качестве источника ввода. Но теперь я должен работать над потоковой передачей данных, ...
Кодек сообщений Kafka - сжать и распаковать
Когда используешьКафка [http://kafka.apache.org/documentation.html]Я могу установить кодек, установив свойство kafka.compression.codec моего производителя kafka. Предположим, я использую сжатие snappy в моем производителе, когда я ...
Как кодировать / декодировать сообщения Kafka, используя двоичный кодировщик Avro?
Я пытаюсь использовать Avro для сообщений, считываемых с / записываемых в Kafka. У кого-нибудь есть пример использования бинарного кодера Avro для кодирования / декодирования данных, которые будут помещены в очередь сообщений? Мне нужна часть ...