¿Cómo procesar los mensajes de Avro mientras lee una secuencia de mensajes de Kafka?
El siguiente código lee los mensajes de Kafka y los mensajes están en Avro, entonces, ¿cómo analizo el mensaje y lo pongo en un marco de datos en Spark 2.2.0?
Dataset<Row> df = sparkSession.readStream()
.format("kafka")
.option("kafka.bootstrap.servers", "localhost:9092")
.option("subscribe", "topic1")
.load();
Estahttps://github.com/databricks/spark-avro La biblioteca no tenía ningún ejemplo para el caso de transmisión.