Результаты поиска по запросу "apache-kafka-streams"
Также существует вероятность, что такой класс появится в самой Кафке.
я есть приложение kafka streams, ожидающее публикации записей по темеuser_activity, Он будет получать данные в формате JSON, и в зависимости от значения ключа, который я хочу добавить в этот поток в разные темы. Это мой код приложения ...
Да. Похоже, шторм поддерживает скользящее окно на основе счета. Apache Flink также поддерживает это. Хотите знать, почему поток Kafka не поддерживает это.
еализовать агрегацию (или преобразование) скользящего окна с помощью окна с фиксированным размером? Например, если у меня есть потоковые данные, подобные следующим input stream = 1,2,3,4,5,6,7,8...Предположим, что время здесь не имеет ...
Я прочитал это, и он поднял хорошие моменты. Однако они не применимы к описанной мной схеме, в которой используются потоки Kafka: загрузка текущего состояния - выполняется с использованием KTable; Последовательные записи - это дескрипторы модели разделов Кафки и гарантии отказоустойчивости
аюсь реализовать простое подтверждение концепции CQRS / источников событий поверхПотоки Кафки [https://kafka.apache.org/documentation/streams/](как ...
Загрузка данных в тему Kafka и выполнение соединения KStream-KTable рекомендуется - однако выполнение внешнего вызова не обязательно является анти-паттерном. Помимо оценки производительности, хорошим свойством загрузки данных в таблицу KTable является отделение вашего приложения от внешней системы. Если вы делаете вызов REST, а внешняя система не работает, как вы справитесь с этим? С данными, загруженными в KTable, этот вопрос разрешается естественным образом. Кроме того, если вы хотите включить обработку ровно один раз, вызов REST является побочным эффектом и не покрывается ровно один раз, пока выполняется соединение.
ый подход для реализации варианта использования обогащения входящего потока событий, хранящихся в Kafka, со справочными данными - это вызовmap() оператор внешнего сервиса REST API, который предоставляет эти справочные данные для каждого входящего ...
kafka.apache.org/documentation/streams/...
тоящее время мы реализуем процесс (используя API-интерфейс процессора Kafka), в котором нам нужно объединить информацию из двух взаимосвязанных событий (сообщений) по теме, а затем переслать эту объединенную информацию. События происходят от ...
Если вы не осколите состояние, основываясь на том же ключе, что и входные темы, вы потеряете локальность / совместное разбиение данных, и, таким образом, ваше приложение будет вычислять неверные результаты.
арственные магазины в Kafka Streams создаются внутри страны. Государственные хранилища разделены по ключам, но не позволяют обеспечить разделение, кромепо ключу (насколько мне известно). ВОПРОСОВ Какконтролировать количество разделов в ...
Не стесняйтесь принять мой ответ, если он работает сейчас :)
даю данные обработки KTable из KStream. Но когда я запускаю сообщения-захоронения с ключом и нулевой полезной нагрузкой, это не удаляет сообщение из KTable. образец - public KStream<String, GenericRecord> ...
Извините - не уверен, куда это поставить - я не парень из потоков; Я просто взломал ваши материалы, чтобы исключить встроенного брокера (так как это в вашем названии вопроса). Рад попробовать для вас, если вы можете быть более откровенным с тем, что вы хотите, чтобы я сделал. Но это будет завтра; поздно.
хожу в поисках знания тайного. Во-первых, у меня есть две пары тем, по одной теме в каждой паре, которая входит в другую тему. Два KTables формируются последними темами, которые используются в KTable + KTable leftJoin. Проблема в том, что ...
хранить данные (используя сжатие журнала, чтобы сохранить его навсегда).
ользую потоки Kafka для обработки данных в реальном времени, в задачах потоков Kafka мне нужно получить доступ к MySQL для запроса данных, и мне нужно вызвать другую службу restful. Все операции являются синхронными. Я боюсь, что синхронный ...
Спасибо! Прошу об обновлениях в GlobalKTable от agg_data_in? Согласно моим знаниям, обновления в GlobalKTable перезаписываются (если новые данные приходят и находят там свой ключ, они перезаписывают старые данные / значение).
спользовании KTable потоки Kafka не позволяют экземплярам читать из нескольких разделов определенной темы, когда количество экземпляров / потребителей равно числу разделов. Я пытался добиться этого с помощью GlobalKTable, проблема в том, что ...