Resultados de la búsqueda a petición "apache-kafka"
Spark Structured Stream recibe mensajes de solo una partición de Kafka
Tengo la situación cuando la chispa puede transmitir y recibir mensajes de solo una partición del tema de Kafka 2-patition. Mis temas:C:\bigdata\kafka_2.11-0.10.1.1\bin\windows>kafka-topics --create --zookeeper localhost:2181 --partitions 2 ...
¿Pueden varios consumidores de Kafka leer desde la misma partición del mismo tema de forma predeterminada?
¿Pueden varios consumidores de Kafka leer desde la misma partición del mismo tema de forma predeterminada? De manera predeterminada, quiero decir que dado que group.id no es obligatorio, me pregunto si engendro múltiples consumidores de kafka sin ...
Spark-Streaming Kafka Direct Streaming API y paralelismo
Entendí el mapeo automatizado que existe entre una partición Kafka y una partición Spark RDD y, en última instancia, la tarea Spark. Sin embargo, para dimensionar adecuadamente Mi ejecutor (en número de Core) y, por lo tanto, en última instancia, ...
CommitFailedException Commit no se puede completar ya que el grupo ya ha reequilibrado y asignado las particiones a otro miembro
Estaba usando kafka 0.10.2 y ahora enfrentaba una excepción CommitFailedException. me gusta: La confirmación no puede completarse ya que el grupo ya ha reequilibrado y asignado las particiones a otro miembro. Esto significa que el tiempo entre ...
Mejora del rendimiento de Kafka Producer
Estamos ejecutando apache kafka 0.10.0.xy spring 3.xy no podemos usar spring kafka, ya que es compatible con la versión 4.x de Spring Framework. Por lo tanto, estamos utilizando la API nativa de Kafka Producer para producir mensajes. Ahora la ...
Política óptima de retención y eliminación de Kafka
Soy bastante nuevo en kafka, así que perdóname si esta pregunta es trivial. Tengo una configuración muy simple para propósitos de pruebas de tiempo como sigue: Máquina A -> escribe en el tema 1 (Intermediario) -> Máquina B lee del tema 1 Máquina ...
¿Cómo deserializar registros de Kafka usando Structured Streaming en Java?
Yo uso Spark2.1. Estoy tratando de leer registros de Kafka usando Spark Structured Streaming, deserializarlos y aplicar agregaciones después. Tengo el siguiente código: SparkSession spark = SparkSession .builder() ...
¿Cómo funciona kafka consumer auto commit?
Estoy leyendoéste [https://www.safaribooksonline.com/library/view/kafka-the-definitive/9781491936153/ch04.html#callout_kafka_consumers__reading_data_from_kafka_CO2-1] : Confirmación automática La forma más fácil de confirmar las compensaciones ...
¿Cómo comprometerse manualmente con Kafka Stream?
¿Hay alguna manera de comprometerse manualmente con Kafka Stream? Por lo general, con el uso deKafkaConsumer, Hago algo como a continuación: while (true) { ConsumerRecords<String, String> records = consumer.poll(100); ...