Результаты поиска по запросу "apache-kafka"
Сначала я думал, что log.retention.bytes был бы для каждого брокера, но похоже, что это для каждого раздела. Я не думаю, что вы можете установить ограничение байтов для каждой темы, к сожалению; по крайней мере, я еще не нашел способ.
оложим, у меня есть мульти-брокер (работающий на одном хосте) с настройкой Kafka с 3-мя брокерами и 50 темами, в каждой из которых настроено 7 разделов и коэффициент репликации 3. У меня есть 50 ГБ памяти, чтобы потратить на kafka и убедиться, ...
хранить данные (используя сжатие журнала, чтобы сохранить его навсегда).
ользую потоки Kafka для обработки данных в реальном времени, в задачах потоков Kafka мне нужно получить доступ к MySQL для запроса данных, и мне нужно вызвать другую службу restful. Все операции являются синхронными. Я боюсь, что синхронный ...
Опять же, вы не включили бы JMX на процессах сервера Kafka для получения запрашиваемой информации, поэтому нет, вам не нужно перезапускать ее
ТИРОВАТЬ :Я узнал т [https://stackoverflow.com/questions/37799564/kafka-consumer-jmx-properties]Если я должен включить JMX в моих процессорах Consumer и Producer и получить информацию о mBean из соответствующих процессов. Как я сделаю это для ...
Могут ли группы потребителей охватывать разные узлы в кластере?
Я видел много примеров использования высокоуровневого потребителя (группы потребителей) для использования темы с использованием множества потоков в одном и том же процессе. Можете ли вы иметь несколько процессов (на разных машинах), разделить ...
@mjuarez Ого, значит, это не сработает, если мы будем использовать базового потребителя Cosnole? :)
у приложение с помощью Spring Boot, поэтому для записи в Kafka я делаю: @Autowired private KafkaTemplate<String, String> kafkaTemplate;а затем внутри моего метода: kafkaTemplate.send(topic, data)Но я чувствую, что просто полагаюсь, что ...
Спасибо, Гэри. Ты спас мой день :)
работал@KafkaListener это также отмеченоConsumerAwareRebalanceListener интерфейс, используя Spring Boot 2.0.6. Я реализовалonPartitionsAssigned метод, в котором я перематываю смещение на фиксированное количество времени, скажем, 60 секунд. Все ...
2. KSQL должен извлекать последнюю версию схемы при создании нового потока по теме, да.
ользую Confluent JDBC Kafka для публикации сообщений в теме. Исходный соединитель будет отправлять данные в тему вместе со схемой в каждом опросе. Я хочу получить эту схему. Является ли это возможным? Как? Может кто-нибудь предложить мне Я ...
Мне пришлось добавить эту строку непосредственно перед вызовом опроса, кажется, что теперь все работает: kafkaConsumer.seekToBeginning (kafkaConsumer.assignment ())
денный ниже клиент Scala kafka не возвращает никаких событий изpoll вызов. Тем не менее, тема правильная, и я вижу события, отправляемые в тему с помощью консоли: /opt/kafka_2.11-0.10.1.0/bin/kafka-console-consumer.sh ...
Согласитесь, вы должны увеличить его вручную, так как тема уже создана. Продолжайте хорошую работу!!
Quickstart [https://kafka.apache.org/quickstart] Использование Kafka v2.1.0 на RHEL v6.9 Потребитель не получает данные, когда один из брокеров Kafka не работает. Шаги выполнены: 1. Запустите зоопарка 2. Запустите Kafka-Server0 (локальный ...
Спасибо! Прошу об обновлениях в GlobalKTable от agg_data_in? Согласно моим знаниям, обновления в GlobalKTable перезаписываются (если новые данные приходят и находят там свой ключ, они перезаписывают старые данные / значение).
спользовании KTable потоки Kafka не позволяют экземплярам читать из нескольких разделов определенной темы, когда количество экземпляров / потребителей равно числу разделов. Я пытался добиться этого с помощью GlobalKTable, проблема в том, что ...