Resultados da pesquisa a pedido "kafka-consumer-api"
Kafka vários consumidores para uma partição
Eu tenho um produtor que grava mensagens em um tópico / partição. Para manter o pedido, eu gostaria de ir com uma partição única e quero que 12 consumidores leiam todas as mensagens dessa partição única (nenhum grupo de consumidores, todas as ...
Por que o desempenho do consumidor Kafka é lento?
Eu tenho um tópico simples e um consumidor e produtor Kafka simples, usando a configuração padrão. O programa é muito simples, tenho dois threads. No produtor, ele continua enviando dados de 16 bytes. E no lado do consumidor, ele continua ...
Kafka - Implementação de fila atrasada usando consumidor de alto nível
Deseja implementar um consumidor atrasado usando a API de alto nível do consumidor Ideia principal: produzir mensagens por chave (cada msg contém o carimbo de data / hora da criação), isso garante que cada partição tenha ordenado mensagens por ...
Consumidor Kafka - qual é a relação dos processos e threads do consumidor com as partições de tópicos
Eu tenho trabalhado com Kafka ultimamente e tenho um pouco de confusão em relação aos consumidores de um grupo de consumidores. O centro da confusão é se os consumidores devem ser implementados como processos ou threads. Para esta pergunta, ...
Apache Kafka com consumidor de alto nível: ignorar mensagens corrompidas
Estou enfrentando um problema com o consumidor kafka de alto nível (0.8.2.0) - depois de consumir uma certa quantidade de dados, um de nossos consumidores para. Após reiniciar, ele consome algumas mensagens e para novamente sem erro / exceção ou ...
O kafka consumer 0.9 é compatível com versões anteriores?
O próximo consumidor kafka 0.9.x será compatível com o intermediário 0.8? Em outras palavras - é possível mudar apenas para a nova implementação do consumidor, sem tocar em mais nada?
Kafka como ler do tópico __consumer_offsets
Estou tentando descobrir quais compensações meus atuais consumidores de alto nível estão trabalhando. Eu uso o Kafka 0.8.2.1, comnão"offset.storage" definido no server.properties do Kafka - o que, eu acho, significa que os deslocamentos são ...
Consumidor Kafka compensar valor máximo?
Eu estava pesquisando no Google e lendo a documentação do Kafka, mas não consegui descobrir o valor máximo de uma compensação do consumidor e se existe uma diferença entre o deslocamento e o valor máximo. Eu entendo que offset é um valor Int64, ...
Kafka Consumer não recebe mensagens
Eu sou um novato em Kafka. Li muitas instruções na Internet para criar um Kafka Producer e Kafka Consumer. Eu fiz o primeiro com sucesso, que pode enviar mensagens para o cluster Kafka. No entanto, eu não terminei com o último. Por favor, ...
diferença entre groupid e consumerid em Kafka consumidor
Eu sou novo em Kafka. Notei na configuração do consumidor que tem dois IDs. um é group.id (obrigatório) e o segundo é consumer.id (não obrigatório). Diga por que 2 IDs e diferença.