Результаты поиска по запросу "apache-kafka"
будет использовать нового потребителя в этом случае (но вы не можете видеть заголовки с консольным потребителем, в любом случае). Но я согласен, что странно, что потребитель может повлиять на производителя. Возможно, есть какая-то логика, которая гласит: «У нас есть старый потребитель, присоединенный к этой теме, поэтому вы не можете отправлять заголовки»
ользую эту настройку docker-compose для локальной настройки Kafka: https://github.com/wurstmeister/kafka-docker/ [https://github.com/wurstmeister/kafka-docker/] docker-compose up работает отлично, создание тем через оболочку ...
github.com/Yolean/kubernetes-kafka
ольно новичок в Kubernetes и хотел настроить Kafka и zookeeper с ним. Я смог настроить Apache Kafka и Zookeeper в Kubernetes, используя StatefulSets. Я последовал заэто [https://github.com/kow3ns/kubernetes-zookeeper]а ...
и извлечь:
чномstructured_kafka_wordcount.py [https://gist.github.com/hrchu/2b2590f2f737ef430ac32b7f8edc15c0]код, Когда я делю строки на словаudf как ниже, my_split = udf(lambda x: x.split(' '), ArrayType(StringType())) words = lines.select( explode( ...
Теперь вы можете делать с этим val все, что хотите, как с Direct Streaming. Создать временное представление, выполнить SQL-запросы, что угодно ..
читал, что Spark Structured Streaming не поддерживает вывод схемы для чтения сообщений Kafka как JSON. Есть ли способ получить схему так же, как это делает Spark Streaming: val dataFrame = spark.read.json(rdd.map(_.value())) dataFrame.printschema
Вы можете установить spring.kafka.bootstrap-servers = $ {spring.embedded.kafka.brokers} в вашем application.properties для теста, который должен работать. Он заполняется из EmbeddedKafka случайным портом, который был назначен при запуске.
ить FYI:пример работы с gitHub [https://github.com/YunaBraska/embedded-kafka-example] Я искал в интернете и не смог найти работающего и простого примера встроенного теста Кафки. Моя настройка: Весенний ...
Также существует вероятность, что такой класс появится в самой Кафке.
я есть приложение kafka streams, ожидающее публикации записей по темеuser_activity, Он будет получать данные в формате JSON, и в зависимости от значения ключа, который я хочу добавить в этот поток в разные темы. Это мой код приложения ...
список источников. Большое спасибо !
ользую изображение Confluent Kafka Docker, в частности, с помощью этого: https://github.com/confluentinc/cp-docker-images/tree/4.0.x/examples/cp-all-in-one [https://github.com/confluentinc/cp-docker-images/tree/4.0.x/examples/cp-all-in-one] Я ...
Я прочитал это, и он поднял хорошие моменты. Однако они не применимы к описанной мной схеме, в которой используются потоки Kafka: загрузка текущего состояния - выполняется с использованием KTable; Последовательные записи - это дескрипторы модели разделов Кафки и гарантии отказоустойчивости
аюсь реализовать простое подтверждение концепции CQRS / источников событий поверхПотоки Кафки [https://kafka.apache.org/documentation/streams/](как ...
Загрузка данных в тему Kafka и выполнение соединения KStream-KTable рекомендуется - однако выполнение внешнего вызова не обязательно является анти-паттерном. Помимо оценки производительности, хорошим свойством загрузки данных в таблицу KTable является отделение вашего приложения от внешней системы. Если вы делаете вызов REST, а внешняя система не работает, как вы справитесь с этим? С данными, загруженными в KTable, этот вопрос разрешается естественным образом. Кроме того, если вы хотите включить обработку ровно один раз, вызов REST является побочным эффектом и не покрывается ровно один раз, пока выполняется соединение.
ый подход для реализации варианта использования обогащения входящего потока событий, хранящихся в Kafka, со справочными данными - это вызовmap() оператор внешнего сервиса REST API, который предоставляет эти справочные данные для каждого входящего ...
kafka.apache.org/documentation/streams/...
тоящее время мы реализуем процесс (используя API-интерфейс процессора Kafka), в котором нам нужно объединить информацию из двух взаимосвязанных событий (сообщений) по теме, а затем переслать эту объединенную информацию. События происходят от ...