Hive Create Multi маленькие файлы для каждой вставки в HDFS

следующее уже достигнутоKafka Producer извлекает данные из твиттера с помощью Spark Streaming.Потребитель Kafka загружает данные в таблицу Hive External (в H...

Kafka kafka.common.MessageSizeTooLargeException у потребителя

Для некоторых больших сообщений я столкнулся со следующей ошибкой:

Поток Apache Flink в кластере не разделяет работу с работниками

Моя цель - настроить кластер с высокой пропускной способностью, используя Kafka в качестве источника и Flink в качестве механизма обработки потоков. Вот что ...

От чего зависит потребительское смещение Кафки?

Кафка-потребитель - как связаны потребительские процессы и темы с тематическими разделами

В последнее время я работаю с Кафкой и немного путаюсь с потребителями из группы потребителей. Центр путаницы заключается в том, следует ли реализовывать пот...

кафка теряет все темы при перезагрузке

Я пробую Кафку (0.8.2.1) на ВМ, но у меня проблемы с ней: хотя все в порядке, пока машина остается включенной (даже если я перезагружаю ZK / Kafka), если я п...

Как составить список производителей в кафке

Так же, как Kafka Offset Monitor может отображать список активных потребителей темы, есть ли какой-либо инструмент или интерфейс командной строки или что-ниб...

Почему Кафка так быстро [закрыто]

Если у меня такое же оборудование, чтобы использовать Kafka или наше текущее решение (ServiceMix / Camel). Есть ли разница? Может ли Кафка обрабатывать «боль...

Apache Kafka с потребителем высокого уровня: пропуск поврежденных сообщений

У меня проблема с потребителем высокого уровня kafka (0.8.2.0) - после потребления некоторого количества данных один из наших потребителей останавливается. П...

Ошибка при создании Kafka Topics - фактор репликации больше, чем у доступных брокеров

Я пытаюсь создать темы в Kafka, следуя инструкциям на веб-сайте Apache Kafka через командную строку. Во время выполнения команды: