Convierta columnas de un marco de datos Spark con una matriz de objetos JSON en varias filas
Tengo una transmisión de datos JSON, cuya estructura se puede describir con la clase de caso a continuación
case class Hello(A: String, B: Array[Map[String, String]])
Los datos de muestra para el mismo son los siguientes
| A | B |
|-------|------------------------------------------|
| ABC | [{C:1, D:1}, {C:2, D:4}] |
| XYZ | [{C:3, D :6}, {C:9, D:11}, {C:5, D:12}] |
Quiero transformarlo en
| A | C | D |
|-------|-----|------|
| ABC | 1 | 1 |
| ABC | 2 | 4 |
| XYZ | 3 | 6 |
| XYZ | 9 | 11 |
| XYZ | 5 | 12 |
Cualquier ayuda será apreciada.