Como importar um json de um arquivo no armazenamento em nuvem para o Bigquery
Eu estou tentando importar um arquivo (json.txt) do armazenamento em nuvem para Bigquery via a API e ter erros lançados. Quando isso é feito via web ui, ele funciona e não tem erros (eu até defini maxBadRecords = 0). Alguém poderia me dizer o que estou fazendo incorretamente aqui? O código está errado, ou eu preciso alterar algumas configurações no Bigquery em algum lugar?
O arquivo é um arquivo utf-8 de texto simples com o conteúdo da seguinte forma: Eu guardei os documentos em bigquery e json imports.
{"person_id":225,"person_name":"John","object_id":1}
{"person_id":226,"person_name":"John","object_id":1}
{"person_id":227,"person_name":"John","object_id":null}
{"person_id":229,"person_name":"John","object_id":1}
e ao importar o trabalho, é gerado o seguinte erro: "O valor não pode ser convertido para o tipo esperado". para cada linha única.
{
"reason": "invalid",
"location": "Line:15 / Field:1",
"message": "Value cannot be converted to expected type."
},
{
"reason": "invalid",
"location": "Line:16 / Field:1",
"message": "Value cannot be converted to expected type."
},
{
"reason": "invalid",
"location": "Line:17 / Field:1",
"message": "Value cannot be converted to expected type."
},
{
"reason": "invalid",
"location": "Line:18 / Field:1",
"message": "Value cannot be converted to expected type."
},
{
"reason": "invalid",
"message": "Too many errors encountered. Limit is: 10."
}
]
},
"statistics": {
"creationTime": "1384484132723",
"startTime": "1384484142972",
"endTime": "1384484182520",
"load": {
"inputFiles": "1",
"inputFileBytes": "960",
"outputRows": "0",
"outputBytes": "0"
}
}
}
O arquivo pode ser acessado aqui:http://www.sendspace.com/file/7q0o37
e meu código e esquema são os seguintes:
def insert_and_import_table_in_dataset(tar_file, table, dataset=DATASET)
config= {
'configuration'=> {
'load'=> {
'sourceUris'=> ["gs://test-bucket/#{tar_file}"],
'schema'=> {
'fields'=> [
{ 'name'=>'person_id', 'type'=>'INTEGER', 'mode'=> 'nullable'},
{ 'name'=>'person_name', 'type'=>'STRING', 'mode'=> 'nullable'},
{ 'name'=>'object_id', 'type'=>'INTEGER', 'mode'=> 'nullable'}
]
},
'destinationTable'=> {
'projectId'=> @project_id.to_s,
'datasetId'=> dataset,
'tableId'=> table
},
'sourceFormat' => 'NEWLINE_DELIMITED_JSON',
'createDisposition' => 'CREATE_IF_NEEDED',
'maxBadRecords'=> 10,
}
},
}
result = @client.execute(
:api_method=> @bigquery.jobs.insert,
:parameters=> {
#'uploadType' => 'resumable',
:projectId=> @project_id.to_s,
:datasetId=> dataset},
:body_object=> config
)
# upload = result.resumable_upload
# @client.execute(upload) if upload.resumable?
puts result.response.body
json = JSON.parse(result.response.body)
while true
job_status = get_job_status(json['jobReference']['jobId'])
if job_status['status']['state'] == 'DONE'
puts "DONE"
return true
else
puts job_status['status']['state']
puts job_status
sleep 5
end
end
end
Alguém poderia me dizer o que estou fazendo de errado? O que eu conserto e onde?
Também em algum momento no futuro, eu espero estar usando arquivos compactados e importando deles - é o "tar.gz" ok para isso ou preciso torná-lo um ".gz" apenas?
Obrigado antecipadamente por toda ajuda. Aprecie isso.