Resultados da pesquisa a pedido "kafka-consumer-api"
Como criar um produtor com capacidade de reinicialização?
A versão mais recente do kafka suporta exatamente uma vez semântica (EoS). Para apoiar essa noção, detalhes extras são adicionados a cada mensagem. Isso significa que no seu consumidor; se você imprimir deslocamentos de mensagens, elas não serão ...
Consumidor kafka primavera, procure compensar em tempo de execução?
Estou usando o KafkaMessageListenerContainer para consumir a partir do tópico kafka, tenho uma lógica de aplicativo para processar cada registro que depende também de outros microsserviços. Agora estou confirmando manualmente o deslocamento após ...
Algoritmo de reequilíbrio do consumidor Kafka
Alguém pode me dizer qual é o algoritmo de reequilíbrio para os consumidores Kafka? Gostaria de entender como a contagem de partições e os segmentos do consumidor afetam isso. Obrigado,
NoBrokersAvailable: NoBrokersAvailable-Kafka Error
Eu já comecei a aprender Kafka. Tentando operações básicas nele. Entrei em um ponto sobre os "Corretores". Meu kafka está em execução, mas quando eu quero criar uma partição. from kafka import TopicPartition (ERROR THERE) consumer ...
kafka.consumer.SimpleConsumer: reconexão devido a erro de soquete: java.nio.channels.ClosedChannelException
Estou executando um consumidor simples para kafka como este: int timeout = 80000; int bufferSize = 64*1024; consumer = new SimpleConsumer(host, port,timeout, bufferSize, clientName);Isso funciona bem por algumas horas, mas recebo uma exceção ...
Vários consumidores Kafka podem ler a mesma mensagem da partição
Planejamos gravar um consumidor Kafka (java) que leia a fila Kafka para executar uma ação que esteja na mensagem. Como os consumidores operam independentemente, a mensagem será processada por apenas um consumidor por vez? Caso contrário, todos ...
Recebendo a última mensagem enviada para um tópico kafka
Sou novo na Kafka e estou trabalhando em um protótipo para conectar um serviço de streaming proprietário ao Kafka. Estou procurando obter a chave da última mensagem em um tópico, pois nosso consumidor interno de fluxo precisa fazer logon com o ...
Kafka bootstrap-servers vs zookeeper em kafka-console-consumer
Estou tentando testar a execução de um único nó Kafka com 3 corretores e tratador. Desejo testar usando as ferramentas do console. Eu corro o produtor como tal: kafka-console-producer --broker-list localhost:9092,localhost:9093,localhost:9094 ...
Como lidar com erros e não confirmar quando usar o DSL do Kafka Streams
Para o Kafka Streams, se usarmos a API do processador de nível inferior, podemos controlar a confirmação ou não. Portanto, se ocorrerem problemas em nosso código, e não queremos confirmar esta mensagem. Nesse caso, o Kafka reenviará essa mensagem ...
Política ideal de retenção e exclusão de Kafka
Eu sou bastante novo no kafka, então me perdoe se essa pergunta for trivial. Eu tenho uma configuração muito simples para fins de testes de temporização da seguinte maneira: O computador A -> grava no tópico 1 (Broker) -> o computador B lê do ...