Результаты поиска по запросу "apache-kafka-streams"
Кафка многораздельного заказа
Мне известно, что в Kafka невозможно заказать несколько разделов и что порядок разделов гарантирован только для одного потребителя в группе (для одного разде...
Кафка потокового параллелизма?
У меня есть некоторый базовый код Kafka Streaming, который читает записи из одной темы, выполняет некоторую обработку и выводит записи в другую тему.Как пото...
использование двух или более кластеров Kafka в приложении Kafka Streams является одним из отличий между Kafka Streams и Spark Structured Streaming (поскольку последний может использовать столько кластеров Kafka, сколько вы хотите, и, таким образом, вы можете строить конвейеры между различными кластерами Kafka) ,
оводство разработчика Kafka Streamsэто говорит: [https://docs.confluent.io/current/streams/developer-guide/config-streams.html] Приложения Kafka Streams могут взаимодействовать только с одним кластером Kafka, указанным в этом значении ...
Речь шла о фильтрации внутри сервера (брокера), поэтому, когда у вас есть потоки со многими ГБ и низкой избирательностью, большая часть потока не достигает потребителей (приложений). Но KSQL и KStreams являются клиентскими библиотеками == полный поток достигает всех клиентов, и они выполняют фильтрацию.
трю в потоки Кафки. Я хочу отфильтровать свой поток, используя фильтр с очень низкой селективностью (один на несколько тысяч). Я смотрел на этот ...
Спасибо за исправление! Да, очевидно, что это утверждение вообще неверно. Но верно ли это в предположении, которое я привел в своем ответе: «Предположим, у вас простая топология процессора, без объединений и агрегаций»? Должен ли я добавить слияния тоже?
ичок в Kafka Streams, меня сейчас смущает максимальный параллелизм приложения Kafka Streams. Я прошел по следующей ссылке и не получил ответ, что я ...
Также существует вероятность, что такой класс появится в самой Кафке.
я есть приложение kafka streams, ожидающее публикации записей по темеuser_activity, Он будет получать данные в формате JSON, и в зависимости от значения ключа, который я хочу добавить в этот поток в разные темы. Это мой код приложения ...
Да. Похоже, шторм поддерживает скользящее окно на основе счета. Apache Flink также поддерживает это. Хотите знать, почему поток Kafka не поддерживает это.
еализовать агрегацию (или преобразование) скользящего окна с помощью окна с фиксированным размером? Например, если у меня есть потоковые данные, подобные следующим input stream = 1,2,3,4,5,6,7,8...Предположим, что время здесь не имеет ...
Я думаю, что вы можете использовать что-то вроде этого:
ли способ сделать операцию, подобную ветви, но поместить запись в каждый выходной поток, предикат которого оценивается как true? Brach помещает запись в первое совпадение (документация: запись помещается в один и только один выходной поток при ...
Вы должны использовать ключи для идентификации каждого сообщения, которое вы хотите отправить, т.е. если вы хотите прочитать все сообщения из 100-го сообщения. Считайте с 100-го смещения до message.key <100 сбросить.
лизовал простой процессор записи мертвых букв Kafka. Он отлично работает при использовании записей, созданных производителем консоли. Однако я считаю, что наши приложения Kafka Streams не гарантируют, что при создании записей по темам приемника ...