Resultados de la búsqueda a petición "apache-kafka"
Limite el tamaño de los lotes de Kafka cuando use Spark Streaming
¿Es posible limitar el tamaño de los lotes devueltos por el consumidor de Kafka para Spark Streaming? Lo pregunto porque el primer lote que obtengo tiene cientos de millones de registros y lleva años procesarlos y revisarlos.
Kafka Streaming Concurrency?
Tengo un código básico de Kafka Streaming que lee registros de un tema, procesa y envía registros a otro tema. ¿Cómo maneja Kafka streaming la concurrencia? ¿Todo se ejecuta en un solo hilo? No veo esto mencionado en la documentación. Si es de ...
No se puede generar un mensaje a kafka desde el servicio que se ejecuta en la ventana acoplable
Tengo un servicio de descanso que se ejecuta en el contenedor docker en el puerto 5000 que se usa para generar mensajes sobre el tema kafka que se está quedando sin el contenedor docker. He configurado mi cliente productor con las siguientes ...
¿Cómo utilizar la aplicación de Android como un "cliente productor" para Kafka?
¿Es posible / tiene sentido usar una aplicación de Android como un "cliente productor" para Apache Kafka? Digamos que mi aplicación de Android necesita capturar y analizar datos de tiempo de reacción. El objetivo es recopilar todos los datos y ...
KafkaAvroDeserializer no devuelve SpecificRecord pero devuelve GenericRecord
MiKafkaProducer es capaz de usarKafkaAvroSerializer para serializar objetos a mi tema. Sin embargo,KafkaConsumer.poll() devoluciones deserializadasGenericRecord en lugar de mi clase serializada. MyKafkaProducer KafkaProducer<CharSequence, ...
¿Cómo caduca una compensación para un grupo de consumidores Apache Kafka?
Estaba haciendo algunas pruebas sobre un viejo tema cuando noté algunos comportamientos extraños. Al leer el registro de Kafka, noté este mensaje de "eliminado 8 compensaciones caducadas": [GroupCoordinator 1001]: Stabilized group GROUP_NAME ...
Cómo configurar el nombre del grupo al consumir mensajes en kafka usando la línea de comando
Alguna idea de cómo configurar el nombre del grupo al consumir mensajes en kafka usando la línea de comando. Intenté con el siguiente comando: bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic nil_RF2_P2 --from-beginning --config ...
¿Imprimir Kafka Stream Input a la consola?
He estado revisando mucha documentación de Kafka para una aplicación Java en la que estoy trabajando. He intentado entrar en la sintaxis lambda introducida en Java 8, pero estoy un poco esquemático en ese terreno y no me siento muy seguro de que ...
Kafka tema por productor
Digamos que tengo múltiples dispositivos. Cada dispositivo tiene diferentes tipos de sensores. Ahora quiero enviar los datos de cada dispositivo para cada sensor a kafka. Pero estoy confundido acerca de los temas kafka. Para procesar estos datos ...
Diferencia entre session.timeout.ms y max.poll.interval.ms para Kafka 0.10.0.0 y versiones posteriores
No estoy claro por qué necesitamos ambossession.timeout.ms ymax.poll.interval.ms y cuando usaríamos uno u otro o ambos? Parece que ambos indican que el límite superior en el coordinador de tiempo esperará para obtener el latido del consumidor ...