Tengo un gran archivo Json, una pequeña parte de la siguiente manera:

{
    "socialNews": [{
        "adminTagIds": "",
        "fileIds": "",
        "departmentTagIds": "",
        ........
        ........
        "comments": [{
            "commentId": "",
            "newsId": "",
            "entityId": "",
            ....
            ....
        }]
    }]
    .....
    }

He aplicado la vista lateral exlode en SocialNews de la siguiente manera:

val rdd = sqlContext.jsonFile("file:///home/ashish/test")
rdd.registerTempTable("social")
val result = sqlContext.sql("select * from social LATERAL VIEW explode(socialNews) social AS comment")

Ahora quiero volver a convertir este resultado (DataFrame) a json y guardarlo en un archivo, pero no puedo encontrar ninguna API de escala para realizar la conversión. ¿Hay alguna biblioteca estándar para hacer esto o alguna forma de resolverlo?