Resultados de la búsqueda a petición "kafka-consumer-api"
kafka-python - ¿Cómo confirmo una partición?
Usando kafka-python-1.0.2. Si tengo un tema con 10 particiones, ¿cómo hago para confirmar una partición en particular, mientras recorro varias particiones y mensajes? Simplemente no puedo encontrar un ejemplo de esto en ningún lado, en los ...
¿Pueden varios consumidores de Kafka leer el mismo mensaje de la partición?
Estamos planeando escribir un consumidor Kafka (java) que lea la cola Kafka para realizar una acción que está en el mensaje. A medida que los consumidores se ejecutan independientemente, ¿el mensaje será procesado por un solo consumidor a la ...
¿Cuál es la diferencia en Kafka entre un coordinador de grupo de consumidores y un líder de grupo de consumidores?
Veo referencias a los coordinadores de Kafka Consumer Group y a los líderes de los grupos de consumidores ... ¿Cuál es la diferencia? ¿Cuál es el beneficio de separar la administración del grupo en dos conjuntos diferentes de responsabilidades?
Problemas de configuración / rendimiento del consumidor de Kafka
Estoy probando kafka como alternativa a AWS SQS. La motivación es principalmente mejorar el rendimiento donde kafka eliminaría la restricción de extraer 10 mensajes a la vez con un límite de 256kb. Aquí hay un escenario de alto nivel de mi caso ...
¿Cómo hacer que el productor pueda reiniciarse?
a última versión de kafka admite exactamente una vez la semántica (EoS). Para respaldar esta noción, se agregan detalles adicionales a cada mensaje. Esto significa que a su consumidor; Si imprime compensaciones de mensajes, no ...
Comprender los temas y particiones de Kafka
Estoy empezando a aprender Kafka para propósitos de soluciones empresariales. Durante mis lecturas, me vinieron a la mente algunas preguntas: Cuando un productor está produciendo un mensaje: especificará eltemaquiere enviar el mensaje a, ¿es ...
Kafka Streams no incrementa el desplazamiento en 1 al producir el tema
He implementado un sencillo procesador de registros de letras muertas de Kafka. Funciona perfectamente cuando se utilizan registros producidos por el productor de la consola. Sin embargo, encuentro que nuestras aplicaciones de Kafka Streams no ...
diferencia entre groupid y consumerid en Kafka consumidor
Soy nuevo en Kafka. Noté en la configuración del consumidor que tiene dos identificadores. uno es group.id (obligatorio) y el segundo es consumer.id (no obligatorio). Indique por qué 2 ID y diferencia.
kafka.consumer.SimpleConsumer: Reconectarse debido a un error de socket: java.nio.channels.ClosedChannelException
Estoy ejecutando un consumidor simple para kafka como este: int timeout = 80000; int bufferSize = 64*1024; consumer = new SimpleConsumer(host, port,timeout, bufferSize, clientName);Esto funciona bien durante un par de horas, pero recibo una ...
Consumidor de kafka de primavera, ¿busca compensación en tiempo de ejecución?
Estoy usando el KafkaMessageListenerContainer para consumir del tema kafka, tengo una lógica de aplicación para procesar cada registro que también depende de otros micro servicios. Ahora estoy confirmando manualmente el desplazamiento después de ...