Eu tenho como entrada um conjunto de arquivos formatados como um único objeto JSON por linha. O problema, no entanto, é que um campo nesses objetos JSON é uma String com escape JSON. Exemplo

{
  "id":1,
  "name":"some name",
  "problem_field": "{\"height\":180,\"weight\":80,}",
}

Espera-se que, ao usarsqlContext.read.json ele criará um DataFrame com o ID, o nome e o problem_field de 3 colunas em que problem_field é uma String.

Não tenho controle sobre os arquivos de entrada e preferiria resolver esse problema no Spark. Existe alguma maneira de fazer com que o Spark leia esse campo String como JSON e deduza seu esquema adequadamente?

Nota: o json acima é apenas um exemplo de brinquedo, o problem_field no meu caso teria diferentes campos variáveis e seria ótimo para o Spark inferir esses campos e não ter que fazer nenhuma suposição sobre quais campos existem.