Результаты поиска по запросу "apache-kafka-streams"
Я прочитал это, и он поднял хорошие моменты. Однако они не применимы к описанной мной схеме, в которой используются потоки Kafka: загрузка текущего состояния - выполняется с использованием KTable; Последовательные записи - это дескрипторы модели разделов Кафки и гарантии отказоустойчивости
аюсь реализовать простое подтверждение концепции CQRS / источников событий поверхПотоки Кафки [https://kafka.apache.org/documentation/streams/](как ...
Да. Похоже, шторм поддерживает скользящее окно на основе счета. Apache Flink также поддерживает это. Хотите знать, почему поток Kafka не поддерживает это.
еализовать агрегацию (или преобразование) скользящего окна с помощью окна с фиксированным размером? Например, если у меня есть потоковые данные, подобные следующим input stream = 1,2,3,4,5,6,7,8...Предположим, что время здесь не имеет ...
Также существует вероятность, что такой класс появится в самой Кафке.
я есть приложение kafka streams, ожидающее публикации записей по темеuser_activity, Он будет получать данные в формате JSON, и в зависимости от значения ключа, который я хочу добавить в этот поток в разные темы. Это мой код приложения ...
Спасибо за исправление! Да, очевидно, что это утверждение вообще неверно. Но верно ли это в предположении, которое я привел в своем ответе: «Предположим, у вас простая топология процессора, без объединений и агрегаций»? Должен ли я добавить слияния тоже?
ичок в Kafka Streams, меня сейчас смущает максимальный параллелизм приложения Kafka Streams. Я прошел по следующей ссылке и не получил ответ, что я ...
@quickinsights Я обновил свой ответ, чтобы ответить на ваши вопросы.
тоящее время я пытаюсь легко передавать сообщения из Темы в одном кластере Kafka в другой (Удаленный -> Локальный кластер). Идея состоит в том, чтобы сразу использовать Kafka-Streams, чтобы нам не нужно было реплицировать фактические сообщения на ...
Речь шла о фильтрации внутри сервера (брокера), поэтому, когда у вас есть потоки со многими ГБ и низкой избирательностью, большая часть потока не достигает потребителей (приложений). Но KSQL и KStreams являются клиентскими библиотеками == полный поток достигает всех клиентов, и они выполняют фильтрацию.
трю в потоки Кафки. Я хочу отфильтровать свой поток, используя фильтр с очень низкой селективностью (один на несколько тысяч). Я смотрел на этот ...
использование двух или более кластеров Kafka в приложении Kafka Streams является одним из отличий между Kafka Streams и Spark Structured Streaming (поскольку последний может использовать столько кластеров Kafka, сколько вы хотите, и, таким образом, вы можете строить конвейеры между различными кластерами Kafka) ,
оводство разработчика Kafka Streamsэто говорит: [https://docs.confluent.io/current/streams/developer-guide/config-streams.html] Приложения Kafka Streams могут взаимодействовать только с одним кластером Kafka, указанным в этом значении ...
, Обратите внимание, что это всего лишь «запрос к потокам» для фиксации как можно скорее - это не выдача фиксации напрямую.
ли способ сделать коммит вручную с Kafka Stream?Обычно с использованием
Каждая запись будет отправлена каждому предикату один раз - это концептуально широковещательная рассылка всем фильтрам, но записи не будут физически реплицированы, поэтому нет никаких накладных расходов памяти.
я есть одна основная тема и несколько предикатов, с каждым из которых связана выходная тема. Я хочу отправить каждую запись во ВСЕ темы, чей предикат разреша...
Как обрабатывать ошибки и не фиксировать при использовании Kafka Streams DSL
аюсь разработать потоковую архитектуру для потоковой аналитики. Требования:RT и NRT потоковый ввод данныхПотоковые процессоры, осуществляющие некоторый финан...