Spark kafka de fluxo estruturado converter JSON sem esquema (inferir esquema)
Eu li o Spark Structured Streaming não suporta inferência de esquema para ler mensagens Kafka como JSON. Existe uma maneira de recuperar o esquema da mesma forma que o Spark Streaming:
val dataFrame = spark.read.json(rdd.map(_.value()))
dataFrame.printschema