Resultados da pesquisa a pedido "google-bigquery"
Qual é a latência dos dados do log de streaming entre os serviços em nuvem da AWS e do Google?
Alguém já teve experiência com: O envio de dados de log em fluxo / com lotes em lotes do Amazon para o BigQuery para processar e pode esclarecer qualquer problema de latência?Envio de logs (em lotes) do Google DataFlow para a Amazon (Kinesis / ...
Python BigQuery allowLargeResults com pandas.io.gbq
Eu quero usar oBiblioteca do Pandas para ler o BigQuery [http://pandas.pydata.org/pandas-docs/stable/generated/pandas.io.gbq.read_gbq.html] dados. Como permito grandes resultados? Para interações não Pandas BigQuery, isso pode ser alcançado ...
Google Bigtable vs BigQuery para armazenar grande número de eventos
fundo Gostaríamos de armazenar nossos eventos imutáveis em um serviço (de preferência) gerenciado. O tamanho médio de um evento é menor que 1 Kb e temos entre 1 e 5 eventos por segundo. O principal motivo para armazenar esses eventos é ...
Como melhor processar grandes resultados de consulta gravados na tabela intermediária no App Engine
Estamos executando grandes tarefas de consulta em que atingimos o tamanho da resposta de 128M e o BigQuery gera o erro "Resposta muito grande para retornar. Considere definir o parâmetro allowLargeResults como true na configuração da ...
Como executar operações de trigrama no Google BigQuery?
Eu uso opg_trgm no PostgreSQL para calcular a similaridade entre duas strings usando trigramas. Particularmente eu uso: similarity(text, text)O que retorna retorna um número que indica o quão semelhantes são os dois argumentos (entre 0 e ...
Como dimensionar a dinâmica no BigQuery?
Digamos, eu tenho a tabela de estatísticas de reprodução de videoclipes mydataset.stats para um determinado dia (3B linhas, 1 milhão de usuários, 6 mil artistas). O esquema simplificado é: String UserGUID, String ArtistGUID Preciso dinamizar / ...
Exclua / atualize as entradas da tabela juntando 2 tabelas no Google BigQuery sem importar / exportar
Temos um caso de usuário em que temos centenas de milhões de entradas em uma tabela e temos um problema de dividi-lo ainda mais. 99% das operações são apenas anexadas. No entanto, temos atualizações e exclusões ocasionais, o que o próprio Google ...
Como extrair todas as chaves em um objeto JSON com BigQuery
O BigQuery possui recursos para analisar JSON em consultas interativas em tempo real: basta armazenar o objeto codificado em JSON como uma sequência e consultar em tempo real, com funções como JSON_EXTRACT_SCALAR. No entanto, não consigo ...
crie uma tabela com um tipo de coluna RECORD
Estou usando uma consulta grande e quero criar um trabalho que preencha uma tabela com colunas do tipo "registro". Os dados serão preenchidos por uma consulta - então como posso escrever uma consulta que retorne colunas do tipo "registro". Obrigado!
Como acessar "Consultas salvas" programaticamente?
Na interface do usuário da Web do BigQuery, há uma seção "Consultas salvas". Existe maneira de acessar (ler / gravar) esses programaticamente? Alguma API?