Resultados da pesquisa a pedido "google-cloud-dataflow"
Gravando a saída de um pipeline de fluxo de dados em um destino particionado
Temos uma única fonte de eventos de streaming com milhares de eventos por segundo; todos esses eventos são marcados com um ID que identifica a qual de nossas dezenas de milhares de clientes o evento pertence. Gostaríamos de usar essa fonte de ...
Associação complexa com o fluxo de dados do google
Sou novato, tentando entender como podemos reescrever um processo ETL em lote no Google Dataflow. Eu li alguns dos documentos, execute alguns exemplos. Estou propondo que o novo processo ETL seja conduzido por eventos de negócios (ou seja, um ...
A entrada do armazenamento de dados no pipeline do fluxo de dados do google pode ser processada em um lote de N entradas por vez?
Estou tentando executar um trabalho de pipeline de fluxo de dados que executaria uma função emN entradas por vezdo armazenamento de dados. No meu caso, essa função está enviando lotes de 100 entradas para algum serviço REST como carga útil. Isso ...
O fluxo de dados do Google Cloud (apache beam) pode usar o ffmpeg para processar dados de vídeo ou imagem
Um processo de fluxo de dados pode usar ffmpeg para processar vídeo ou imagens e, em caso afirmativo, como seria um exemplo de fluxo de trabalho
É possível usar uma máquina personalizada para instâncias do Dataflow?
Eu tenho lidocriando-instância-com-máquina-personalizada-tipo [https://cloud.google.com/compute/docs/instances/creating-instance-with-custom-machine-type] e Parece realmente interessante, mas não sei como configurar um trabalho de streaming de ...
Nome da tabela dinâmica ao gravar no BQ a partir de pipelines de fluxo de dados
Como uma pergunta de acompanhamento para a seguinte pergunta e resposta: https://stackoverflow.com/questions/31156774/about-key-grouping-with-groupbykey [https://stackoverflow.com/questions/31156774/about-key-grouping-with-groupbykey] Gostaria ...
Usando o fluxo de dados do Google Cloud PubSubIO, quando a leitura da mensagem é confirmada?
É possível atrasar o reconhecimento até que o subgráfico (tudo abaixo do PubSubIO.Read) seja processado com êxito? Por exemplo, somostransmissãolê de uma assinatura do google pubsub e, em seguida, grava um arquivo no GCS e, em outra ramificação, ...
Como combinar dados de streaming com um grande conjunto de dados do histórico no Dataflow / Beam
Estou investigando o processamento de logs de sessões de usuário da web via Google Dataflow / Apache Beam e preciso combinar os logs do usuário à medida que eles entram (streaming) com o histórico da sessão de um usuário desde o ...
Dataflow / apache beam - como acessar o nome do arquivo atual ao passar no padrã
Eu já vi essa pergunta respondida antes no estouro de pilha ...
onflito do @Maven no aplicativo Java com dependência google-cloud-core-grpc
(Também levantei um problema no GitHub para isso -https: //github.com/googleapis/google-cloud-java/issues/409 [https://github.com/googleapis/google-cloud-java/issues/4095]) Tenho as versões mais recentes das 2 dependências a seguir para o ...