Eu li o Spark Structured Streaming não suporta inferência de esquema para ler mensagens Kafka como JSON. Existe uma maneira de recuperar o esquema da mesma forma que o Spark Streaming:

val dataFrame = spark.read.json(rdd.map(_.value()))
dataFrame.printschema