Resultados da pesquisa a pedido "google-cloud-dataflow"
O fluxo de dados falha com java.lang.NoSuchMethodError: io.grpc.protobuf.ProtoUtils.marshaller (Lcom / google / protobuf / Message;)
Estou tentando executar um trabalho do Dataflow no Google Cloud. Sempre falha com: java.lang.NoSuchMethodError: io.grpc.protobuf.ProtoUtils.marshaller (Lcom / google / protobuf / Message;) Lio / grpc / MethodDescriptor $ Marshaller É um projeto ...
Lendo cabeçalho CSV com Dataflow
Eu tenho um arquivo CSV e não conheço os nomes das colunas antes do tempo. Preciso gerar os dados em JSON após algumas transformações no Google Dataflow. Qual é a melhor maneira de pegar a linha do cabeçalho e permear os rótulos por todas as ...
Quando o Dataflow reconhece uma mensagem de itens em lote do PubSubIO?
Houve umpergunta sobre este tópico [https://stackoverflow.com/questions/36018920/using-google-cloud-dataflow-pubsubio-when-does-the-read-of-the-message-get-acknhttp://] , a resposta dizia "A confirmação será feita quando a mensagem durar ...
Erros de compilação localizando símbolos, incluindo Pipeline, PCollection, PipelineOptions, etc.
A partir de hoje, estou recebendo uma quebra de compilação do código existente que costumava ser compilado corretamente, devido a um erro ao localizar muitas classes de chaves no SDK do Dataflow para Java. Por ...
O que o objeto do tipo '_UnwindowedValues' não possui len ()?
Estou usando o Dataflow 0.5.5 Python. Ocorreu o seguinte erro em um código muito simples: print(len(row_list))row_list é uma lista. Exatamente o mesmo código, os mesmos dados e o mesmo pipeline funcionam perfeitamente no DirectRunner, mas lança ...
O Google DataFlow não pode ler e gravar em locais diferentes (Python SDK v0.5.5)
Estou escrevendo um pipeline DataFlow muito básico usando o SDK do Python v0.5.5. O pipeline usa um BigQuerySource com uma consulta passada, que está consultando tabelas do BigQuery a partir de conjuntos de dados que residem na UE. Ao executar o ...
Lendo JSON aninhado no Google Dataflow / Apache Beam
É possível ler arquivos JSON não aninhados no Cloud Storage with Dataflow via: p.apply("read logfiles", TextIO.Read.from("gs://bucket/*").withCoder(TableRowJsonCoder.of()));Se eu quiser gravar esses logs com filtragem mínima no BigQuery, posso ...
Como obter uma lista de elementos de uma PCollection no Google Dataflow e usá-la no pipeline para fazer um loop das Transformações de Gravação?
Estou usando o Google Cloud Dataflow com o Python SDK. Eu gostaria de : Obtenha uma lista de datas exclusivas de um PCollection mestrePercorra as datas nessa lista para criar PCollections filtrados (cada um com uma data única) e grave cada ...
Consumindo dados ilimitados no Windows com gatilho padrão
eu tenho umPub / Sub [https://cloud.google.com/pubsub/docs]tópico + assinatura e deseja consumir e agregar os dados ilimitados da assinatura em umDataflow [https://cloud.google.com/dataflow/docs]. Eu uso uma janela fixa e escrevo os agregados no ...
Marca d'água ficando presa
Estou ingerindo dados via pub / sub em um pipeline de fluxo de dados que está sendo executado no modo ilimitado. Os dados são basicamente coordenadas com registros de data e hora capturados em dispositivos de rastreamento. Essas mensagens chegam ...