Resultados da pesquisa a pedido "google-cloud-dataflow"
Passar parâmetros das funções da nuvem para o Dataflow
Gostaria de passar o nome do arquivo do arquivo carregado no Google Cloud Storage do Cloud Functions para o Dataflow para que eu possa processar o arquivo enviado. O código que escrevi para o Cloud Functions é const google = ...
importar conflito de metaclasse apache_beam
Quando tento importar o apache beam, recebo o seguinte erro. >>> import apache_beam Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/toor/pfff/local/lib/python2.7/site-packages/apache_beam/__init__.py", line 78, ...
Gravando a saída de um pipeline de fluxo de dados em um destino particionado
Temos uma única fonte de eventos de streaming com milhares de eventos por segundo; todos esses eventos são marcados com um ID que identifica a qual de nossas dezenas de milhares de clientes o evento pertence. Gostaríamos de usar essa fonte de ...
Como obter uma lista de elementos de uma PCollection no Google Dataflow e usá-la no pipeline para fazer um loop das Transformações de Gravação?
Estou usando o Google Cloud Dataflow com o Python SDK. Eu gostaria de : Obtenha uma lista de datas exclusivas de um PCollection mestrePercorra as datas nessa lista para criar PCollections filtrados (cada um com uma data única) e grave cada ...
Consumindo dados ilimitados no Windows com gatilho padrão
eu tenho umPub / Sub [https://cloud.google.com/pubsub/docs]tópico + assinatura e deseja consumir e agregar os dados ilimitados da assinatura em umDataflow [https://cloud.google.com/dataflow/docs]. Eu uso uma janela fixa e escrevo os agregados no ...
Gravando valores diferentes em diferentes tabelas do BigQuery no Apache Beam
Suponha que eu tenho umPCollection<Foo> e quero gravá-lo em várias tabelas do BigQuery, escolhendo uma tabela potencialmente diferente para cadaFoo. Como posso fazer isso usando o Apache BeamBigQueryIO API?
Remova duplicatas em gatilhos / disparos de janela
Digamos que eu tenho uma coleção ilimitada de frases codificadas por userid e quero um valor constantemente atualizado para saber se o usuário é irritante, podemos calcular se um usuário é irritante passando todas as frases que ele já disse para ...
Dataflow / apache beam - como acessar o nome do arquivo atual ao passar no padrã
Eu já vi essa pergunta respondida antes no estouro de pilha ...
Forçando um painel / janela vazio no streaming no Apache Beam
Estou tentando implementar um pipeline e obtém um fluxo de dados e a cada minuto gera um True se houver algum elemento no intervalo de minutos ou False se não houver nenhum. O painel (com acionador de tempo permanente) ou a janela (janela fixa) ...
O trabalho de streaming do Cloud Dataflow pode escalar para zero?
Estou usando os pipelines de streaming do Cloud Dataflow para inserir eventos recebidos do Pub / Sub em um conjunto de dados do BigQuery. Preciso de alguns para manter cada trabalho simples e fácil de manter. Minha preocupação é com o custo ...