Resultados da pesquisa a pedido "google-cloud-dataflow"
Passar parâmetros das funções da nuvem para o Dataflow
Gostaria de passar o nome do arquivo do arquivo carregado no Google Cloud Storage do Cloud Functions para o Dataflow para que eu possa processar o arquivo enviado. O código que escrevi para o Cloud Functions é const google = ...
A indexação com estado faz com que o ParDo seja executado com thread único no Dataflow Runner
Estamos gerando um índice seqüencial em um ParDo usando o Java SDK 2.0.0 da Beam. Assim como o exemplo simples de índice com estado em Beamintrodução ao processamento com ...
importar conflito de metaclasse apache_beam
Quando tento importar o apache beam, recebo o seguinte erro. >>> import apache_beam Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/toor/pfff/local/lib/python2.7/site-packages/apache_beam/__init__.py", line 78, ...
Como integrar o Google Cloud SQL ao Google Big Query
Estou projetando uma solução na qual o Google Cloud SQL será usado para armazenar todos os dados do funcionamento regular do aplicativo (tipo de dados OLTP). Espera-se que os dados cresçam ao longo do tempo em um tamanho bastante grande. Os dados ...
Como usar o GCP Cloud SQL como fonte de fluxo de dados e / ou afundar com Python?
Existe alguma orientação disponível para usar o Google Cloud SQL como fonte de leitura e / ou coletor de fluxo de dados? NoDocumentação do Apache Beam Python SDK 2.1.0 [https://beam.apache.org/documentation/sdks/pydoc/2.1.0/apache_beam.html]não ...
Importar CSV para o armazenamento em nuvem do Google Cloud
Eu tenho um arquivo CSV com 2 colunas e 20.000 linhas que gostaria de importar para o Google Cloud Datastore. Eu sou novo nos bancos de dados do Google Cloud e NoSQL. Eu tentei usar o fluxo de dados, mas preciso fornecer um nome de ...
Como criar grupos de N elementos a partir de um PCollection Apache Beam Python
Estou tentando realizar algo como isto:Coleta de PC em lote no feixe / fluxo de dados [https://stackoverflow.com/questions/44348085/batch-pcollection-in-beam-dataflow] A resposta no link acima está em Java, enquanto a linguagem com a qual ...
Inicie o CloudSQL Proxy no Python Dataflow / Apache Beam
Atualmente, estou trabalhando em um trabalho ETL Dataflow (usando o Apache Beam Python SDK) que consulta dados do CloudSQL (compsycopg2 e um costumeParDo) e grava no BigQuery. Meu objetivo é criar um modelo de fluxo de dados que eu possa iniciar ...
Funções da nuvem do Google - não é possível ler a propriedade 'getApplicationDefault'
Implantei uma função de nuvem para chamar um modelo de pipeline de fluxo de dados e tentar acionar a função colocando o arquivo no bucket de armazenamento em nuvem. Como pré-requisito node.js que eu fiz, npm init npm install --save ...
Acionando o pipeline do Cloud Dataflow da função Cloud - a função atinge o tempo limite
Estou tentando acionar um pipeline de fluxo de dados a partir de uma função de nuvem que é acionada após o upload de um novo arquivo em um bucket do GCS. Quando eu carrego um arquivo, a função Nuvem é acionada corretamente, mas atinge o tempo ...