Los marcos de datos de Spark convierten JSON anidado en columnas separadas
Tengo una secuencia de JSON con la siguiente estructura que se convierte en marco de datos
{
"a": 3936,
"b": 123,
"c": "34",
"attributes": {
"d": "146",
"e": "12",
"f": "23"
}
}
El marco de datos muestra resultados de funciones en la siguiente salida
sqlContext.read.json(jsonRDD).show
+----+-----------+---+---+
| a| attributes| b| c|
+----+-----------+---+---+
|3936|[146,12,23]|123| 34|
+----+-----------+---+---+
¿Cómo puedo dividir la columna de atributos (estructura JSON anidada) enatributos.d, atributos.e y atributos.f comoseparar columnas en un nuevo marco de datos, por lo que puedo tener columnas como a, b, c, atributos.d, atributos.e y atributos.f en el nuevo marco de datos?