Resultados de la búsqueda a petición "kafka-consumer-api"
Limite el tamaño de los lotes de Kafka cuando use Spark Streaming
¿Es posible limitar el tamaño de los lotes devueltos por el consumidor de Kafka para Spark Streaming? Lo pregunto porque el primer lote que obtengo tiene cientos de millones de registros y lleva años procesarlos y revisarlos.
Cómo configurar el nombre del grupo al consumir mensajes en kafka usando la línea de comando
Alguna idea de cómo configurar el nombre del grupo al consumir mensajes en kafka usando la línea de comando. Intenté con el siguiente comando: bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic nil_RF2_P2 --from-beginning --config ...
Diferencia entre session.timeout.ms y max.poll.interval.ms para Kafka 0.10.0.0 y versiones posteriores
No estoy claro por qué necesitamos ambossession.timeout.ms ymax.poll.interval.ms y cuando usaríamos uno u otro o ambos? Parece que ambos indican que el límite superior en el coordinador de tiempo esperará para obtener el latido del consumidor ...
Apache Kafka y Avro: org.apache.avro.generic.GenericData $ Record no se puede enviar a com.harmeetsingh13.java.Customer
Cada vez que intento leer el mensaje de la cola kafka, recibo la siguiente excepción: [error] (run-main-0) java.lang.ClassCastException: org.apache.avro.generic.GenericData$Record cannot be cast to com.harmeetsingh13.java.Customer ...
¿Por qué el consumidor de Kafka tarda tanto en comenzar a consumir?
Comenzamos un consumidor de Kafka, escuchando un tema que aún no se ha creado (aunque la creación automática de temas está habilitada). No mucho tiempo después, un productor publica mensajes sobre ese tema. Sin embargo, al consumidor le lleva ...
Servidores de arranque Kafka vs zookeeper en kafka-console-consumer
Estoy tratando de probar ejecutar un solo nodo Kafka con 3 corredores y cuidador del zoológico. Deseo probar usando las herramientas de la consola. Dirijo el productor como tal: kafka-console-producer ...
¿Cuál es la diferencia en Kafka entre un coordinador de grupo de consumidores y un líder de grupo de consumidores?
Veo referencias a los coordinadores de Kafka Consumer Group y a los líderes de los grupos de consumidores ... ¿Cuál es la diferencia? ¿Cuál es el beneficio de separar la administración del grupo en dos conjuntos diferentes de responsabilidades?
Cómo manejar el error y no comprometerse cuando use Kafka Streams DSL
Para Kafka Streams, si usamos una API de procesador de nivel inferior, podemos controlar la confirmación o no. Entonces, si ocurren problemas en nuestro código, y no queremos confirmar este mensaje. En este caso, Kafka reenviará este mensaje ...
Política óptima de retención y eliminación de Kafka
Soy bastante nuevo en kafka, así que perdóname si esta pregunta es trivial. Tengo una configuración muy simple para propósitos de pruebas de tiempo como sigue: Máquina A -> escribe en el tema 1 (Intermediario) -> Máquina B lee del tema 1 Máquina ...