Leia JSON com várias linhas no Apache Spark

Question

Jul 23, 2016, 09:50 PM

Leia JSON com várias linhas no Apache Spark

Eu estava tentando usar um arquivo JSON como um pequeno banco de dados. Depois de criar uma tabela de modelos no DataFrame, consultei-a com SQL e obtive uma exceção. Aqui está o meu código:

val df = sqlCtx.read.json("/path/to/user.json")
df.registerTempTable("user_tt")

val info = sqlCtx.sql("SELECT name FROM user_tt")
info.show()

df.printSchema() resultado:

root
 |-- _corrupt_record: string (nullable = true)

Meu arquivo JSON:

{
  "id": 1,
  "name": "Morty",
  "age": 21
}

Exceção:

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'name' given input columns: [_corrupt_record];

Como posso corrigir isso?

UPD

_corrupt_record é

+--------------------+
|     _corrupt_record|
+--------------------+
|                   {|
|            "id": 1,|
|    "name": "Morty",|
|           "age": 21|
|                   }|
+--------------------+

UPD2

É estranho, mas quando reescrevo meu JSON para torná-lo definitivo, tudo funciona bem.

{"id": 1, "name": "Morty", "age": 21}

Portanto, o problema está em umnewline.

UPD3

Encontrei nos documentos a próxima frase:

Observe que o arquivo oferecido como um arquivo json não é um arquivo JSON típico. Cada linha deve conter um objeto JSON válido separado e independente. Como conseqüência, um arquivo JSON comum de várias linhas normalmente falhará.

Não é conveniente manter o JSON nesse formato. Existe alguma solução alternativa para se livrar da estrutura de várias linhas do JSON ou convertê-la no oneliner?

leaveComments