Resultados da pesquisa a pedido "google-bigquery"
Migrar a tabela de seção para o Google BigQuery
Estou tentando criar um tipo de pipeline de dados para migrar minhas tabelas do Hive para o BigQuery. O Hive está sendo executado em um cluster do Hadoop no local. Este é o meu design atual, na verdade, é muito fácil, é apenas um script de ...
BigQuery - Séries temporais e a maneira mais eficiente de selecionar o registro 'mais recente'
Em nosso design de BQ, temos uma tabela de clientes (dados brutos aninhados), que é originada por eventos de nossa camada de microsserviços (consumindo fluxos de cinesia), em que cada evento tem o instantâneo de entidade mais recente da entidade ...
ImportError: não é possível importar o nome pubsub_v1
Preciso importar o Pubsub_v1 e o bigquery do módulo google.cloud. Eu instalei e o pip freeze mostra abaixo: gapic-google-cloud-pubsub-v1==0.15.4 google-cloud-bigquery==0.26.0 google-cloud-pubsub==0.27.0 proto-google-cloud-pubsub-v1==0.15.4No meu ...
como agendar o script de shell usando o Google Cloud Shell?
Eu tenho um arquivo .sh que é armazenado no GCS. Estou tentando agendar o arquivo .sh através do shell do Google Cloud. Eu posso executar o mesmo arquivo usandogsutil cat gs://miptestauto/baby.sh | sh comando, mas não é capaz de agendá-lo. A ...
STRING até DATE em BIGQUERY
Estou tentando fazer isso com o Google BigQuery: Eu tenho uma coluna com datas no seguinte formato STRING: 6/9/2017 (M/D/YYYY)Gostaria de saber como posso lidar com isso, tentando usar a cláusula DATE., Para obter o formato ...
Resultados de consulta e dimensões personalizadas no BigQuery?
Estou trabalhando com os dados do GoogleAnalytics no BigQuery. Eu quero gerar 2 colunas: ações de eventos específicos (hits) e dimensão personalizada (com base na sessão). Tudo isso, usando o SQL padrão. Não consigo descobrir como ...
Como converter uma matriz extraída de um campo json string em um campo repetido de bigquery?
Carregamos json blobs em um campo String em uma tabela Bigquery. Eu preciso criar uma exibição (usando sql padrão) sobre a tabela que extrairia o campo da matriz como uma matriz de bigquery / campo repetido do tipo "RECORD" (que por si só inclui ...
Eu uso o to_gbq no pandas para atualizar o Google BigQuery e obter GenericGBQException
Ao tentar usarto_gbqpara atualizar a tabela do Google BigQuery, recebo uma resposta de: GenericGBQException: Reason: 400 Error while reading data, error message: JSON table encountered too many errors, giving up. Rows: 1; errors: 1.Meu ...
Gravando valores diferentes em diferentes tabelas do BigQuery no Apache Beam
Suponha que eu tenho umPCollection<Foo> e quero gravá-lo em várias tabelas do BigQuery, escolhendo uma tabela potencialmente diferente para cadaFoo. Como posso fazer isso usando o Apache BeamBigQueryIO API?
Definição / documentação para esquemas do BigQuery?
Alguém sabe onde está a documentação para a definição dos esquemas do BigQuery? Em outras palavras, o esquema JSON que você fornece ao fazer upload de arquivos -personsDataSchema.json neste ...