Есть ли способ удалить все данные из темы или удалить тему перед каждым запуском?

Есть ли способ удалить все данные из темы или удалить тему перед каждым запуском? Могу ли я изменить файл KafkaConfig.scala, чтобы изменитьlogRetentionHours свойство? Есть ли способ удалить сообщения, как только их прочитает потребитель? Я ...

Кафка Storm HDFS / S3 поток данных

Неясно, можете ли вы сделать разветвление (дублирование) в Kafka, как в Flume. Я бы хотел, чтобы Кафка сохранил данные в HDFS или S3 и отправил дубликат этих данных в Storm для обработки в реальном времени. Выходные данные агрегации / анализа ...

Задержка в потреблении потребителями сообщений в Apache Kafka

Я использую Kafka 0.8.0 и пытаюсь достичь нижеприведенного сценария.JCA API (действует как производитель и отправляет данные) -----> Consumer ------> H...

Kafka High Level Consumer Извлекает все сообщения из темы с помощью Java API (эквивалентно --from-begin)

Я тестирую Kafka High Level Consumer, используя код ConsumerGroupExample с сайта Kafka. Я хотел бы получить все существующие сообщения по теме «test», которы...

Apache Kafka против Apache Storm

Apache Kafka: распределенная система обмена сообщениямиApache Storm: обработка сообщений в реальном времениКак мы можем использовать обе технологии в конвейе...

как использовать Kafka 0.8 Log4j appender

Я пытаюсь запустить приложение Kafka-0.8 Log4j и не могу это сделать. Я хочу, чтобы мое приложение отправляло журнал напрямую в kafka через приложение Log4j....

Проблема с балансировкой при чтении сообщений в Кафке

Я пытаюсь читать сообщения на тему Кафки, но не могу прочитать. Процесс завершается через некоторое время, без чтения каких-либо сообщений.Вот ошибка перебал...

Что означает kafka.common.OffsetOutOfRangeException

Я пытаюсь загрузить данные через Apache Kafka и постоянно получаю эту ошибку:kafka.common.OffsetOutOfRangeException: смещение 1003786 выходит за пределы диап...

Как Кафка вещает на многие потребительские группы

Как добиться многопользовательской аренды в контексте Кафки и Шторма?

Каковы лучшие практики для создания мультитенантного приложения в контексте Kafka и шторма?Например: создать тему для каждого арендатора и использовать носит...