Como importo uma matriz de dados em linhas separadas em uma tabela de seção?
Estou tentando importar dados no seguinte formato para uma tabela de seção
[
{
"identifier" : "id#1",
"dataA" : "dataA#1"
},
{
"identifier" : "id#2",
"dataA" : "dataA#2"
}
]
Eu tenho vários arquivos como este e quero que cada {} forme uma linha na tabela. Isto é o que eu tentei:
CREATE EXTERNAL TABLE final_table(
identifier STRING,
dataA STRING
) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION "s3://bucket/path_in_bucket/"
Isso não está criando uma única linha para cada {}. Eu também tentei
CREATE EXTERNAL TABLE final_table(
rows ARRAY< STRUCT<
identifier: STRING,
dataA: STRING
>>
) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION "s3://bucket/path_in_bucket/"
mas isso também não é trabalho. Existe alguma maneira de especificar que a entrada como uma matriz com cada registro sendo um item na matriz para a consulta de seção? Alguma sugestão sobre o que fazer?