Результаты поиска по запросу "apache-kafka"
@dnaumenko Возможно не смещение, а общие метаданные источника :)
2.2 представил структурированный потоковый источник Kafka. Как я понимаю, он использует каталог контрольных точек HDFS для хранения смещений и гарантии доставки сообщений «точно один раз». Но старые доки ...
@gstackoverflow да, в соответствии с исходным кодом клиентов Kafka. Я знаю, это звучит глупо, но в целом и с другой точки зрения, чего бы вы хотели достичь? В критически важных системах лучше выполнять фиксацию смещения вручную, если вы уверены, что сообщение обработано, в других случаях - вы можете предпочесть использование менее частой фиксации смещения для ускорения процесса. Однако смещение коммитов не является тривиальным, так как это потребует zookeeper и т. Д
аюэтот [https://www.safaribooksonline.com/library/view/kafka-the-definitive/9781491936153/ch04.html#callout_kafka_consumers__reading_data_from_kafka_CO2-1] : Автоматическая фиксация Самый простой способ зафиксировать смещения - ...
Спасибо @amethystic. Это сработало. Мне нужно было запустить это в коде, так как добавляются новые брокеры, а не скрипт. Использовал следующее: ReassignPartitionsCommand.executeAssignment (zkUtils, reassignPartitionJson, new Throttle (-1, null));
смущает, как kafka-reassignment-paritions работает для темы __consumer_offsets? Я начинаю с 1 zk и 1 kafka broker, создаю тестовую тему с репликацией = 1, раздел = 1. потреблять и производить. работает отлично. Я вижу созданную тему ...
Речь шла о фильтрации внутри сервера (брокера), поэтому, когда у вас есть потоки со многими ГБ и низкой избирательностью, большая часть потока не достигает потребителей (приложений). Но KSQL и KStreams являются клиентскими библиотеками == полный поток достигает всех клиентов, и они выполняют фильтрацию.
трю в потоки Кафки. Я хочу отфильтровать свой поток, используя фильтр с очень низкой селективностью (один на несколько тысяч). Я смотрел на этот ...
позволяет обогатить первичный ключ, который может быть полезен при наличии событий из нескольких таблиц в одной теме. На вопрос в комментарии выше, его первоначальный вариант использования был для сегментированных таблиц, но он должен работать и для таблиц с разными схемами.
челhttp://debezium.io/docs/connectors/mysql/ [http://debezium.io/docs/connectors/mysql/]но я не смог найти никакой информации о том, можно ли настроить debezium так, чтобы изменения из 2 (или более) таблиц могли быть записаны в одну и ту же тему ...
google.com/...
лаем потоковую передачу данных Кафки, которые собираются из MySQL. Теперь, когда вся аналитика сделана, я хочу сохранить свои данные прямо в Hbase. Я пролистал документ с потоковой структурой искры, но не смог найти ни одного приемника с Hbase. ...
Это прекрасно работает большую часть времени. Тем не менее, в семантике точно один раз; это не будет работать.
ичок в Kafka и работаю над прототипом для подключения проприетарного потокового сервиса к Kafka. Я хочу получить ключ от последнего сообщения, отправленного по теме, так как наш внутренний поточный потребитель должен войти в систему с ...
docs.confluent.io/current/confluent-security-plugins/kafka/...
может быть настроен на использование нескольких механизмов аутентификации: незашифрованное имя пользователя / пароль, Kerberos или SSL. Первые 2 используют SASL, где требуется файл конфигурации JAAS. Для метода аутентификации в виде простого ...
@quickinsights Я обновил свой ответ, чтобы ответить на ваши вопросы.
тоящее время я пытаюсь легко передавать сообщения из Темы в одном кластере Kafka в другой (Удаленный -> Локальный кластер). Идея состоит в том, чтобы сразу использовать Kafka-Streams, чтобы нам не нужно было реплицировать фактические сообщения на ...