Eu tenho arquivos csv grandes e arquivos excel, onde os leio e crio o script de criação de tabela necessário dinamicamente, dependendo dos campos e tipos que ele possui. Em seguida, insira os dados na tabela criada.

eu liesta e entendeu que eu deveria enviá-los comjobs.insert() ao invés detabledata.insertAll() para grande quantidade de dados.

É assim que eu o chamo (funciona para arquivos menores e não grandes).

result  = client.push_rows(datasetname,table_name,insertObject) # insertObject is a list of dictionaries

Quando eu uso as bibliotecaspush_rows dá esse erro no windows.

[Errno 10054] An existing connection was forcibly closed by the remote host

e isso no ubuntu.

[Errno 32] Broken pipe

Então, quando eu passeiBigQuery-Python código que usatable_data.insertAll().

Como posso fazer isso com esta biblioteca? Sei que podemos fazer o upload pelo armazenamento do Google, mas preciso disso com o método de upload direto.