Resultados da pesquisa a pedido "google-cloud-dataflow"

2 a resposta

Como corrigir o Dataflow incapaz de serializar meu DoFn?

Quando executo meu pipeline de fluxo de dados, recebo a exceção abaixo, reclamando que meu DoFn não pode ser serializado. Como faço para corrigir isso? Aqui está o rastreamento de pilha: Caused by: java.lang.IllegalArgumentException: unable to ...

1 a resposta

Ignorando linhas de cabeçalho - é possível com o Cloud DataFlow?

Eu criei um Pipeline, que lê um arquivo no GCS, o transforma e, finalmente, grava em uma tabela BQ. O arquivo contém uma linha de cabeçalho (campos). Existe alguma maneira de definir programaticamente o "número de linhas de cabeçalho para pular" ...

1 a resposta

Como obter o nome do arquivo ao usar a correspondência de padrão de arquivo no google-cloud-dataflow

Alguém sabe como obter o nome do arquivo ao usar a correspondência de padrão de arquivo no google-cloud-dataflow? Eu sou novato em usar o fluxo de dados. Como obter o nome do arquivo ao usar o arquivo patten match, dessa ...

1 a resposta

Gravando resultados do pipeline do fluxo de dados do Google em vários sumidouros

Gostaria de gravar os resultados do pipeline do fluxo de dados do Google em vários sumidouros. Quero escrever o resultado usando o TextIO no Google Cloud Storage, bem como gravar os resultados como uma tabela no BigQuery. Como eu posso fazer isso?

1 a resposta

Como gravar no BigQuery um esquema calculado durante a execução do mesmo pipeline do Dataflow?

Meu cenário é uma variação do discutido aqui:Como escrevo no BigQuery usando um esquema calculado durante a execução do ...

1 a resposta

detectClassPathResourcesToStage - Não foi possível converter o URL

Quando executo o jar no GCE, ocorreu o seguinte erro: java -jar mySimple.jar --project = myProjcet Aug 13, 2015 1:22:26 AM com.google.cloud.dataflow.sdk.runners.DataflowPipelineRunner detectClassPathResourcesToStage SEVERE: Unable to convert ...

2 a resposta

O trabalho de streaming do Cloud Dataflow pode escalar para zero?

Estou usando os pipelines de streaming do Cloud Dataflow para inserir eventos recebidos do Pub / Sub em um conjunto de dados do BigQuery. Preciso de alguns para manter cada trabalho simples e fácil de manter. Minha preocupação é com o custo ...

1 a resposta

Definir codificadores personalizados e manipulação de tipos de parâmetros

Tenho duas perguntas relacionadas a problemas de codificador que estou enfrentando com meu pipeline do Dataflow. Como faço para definir um codificador para meus tipos de dados personalizados? A classe consiste em apenas três itens - dois duplos ...

1 a resposta

Qual é a latência dos dados do log de streaming entre os serviços em nuvem da AWS e do Google?

Alguém já teve experiência com: O envio de dados de log em fluxo / com lotes em lotes do Amazon para o BigQuery para processar e pode esclarecer qualquer problema de latência?Envio de logs (em lotes) do Google DataFlow para a Amazon (Kinesis / ...

1 a resposta

Perfil de memória no Google Cloud Dataflow

Qual seria a melhor maneira de depurar problemas de memória de um trabalho de fluxo de dados? Meu trabalho estava falhando com um erro de GC OOM, mas quando o perfilo localmente, não consigo reproduzir os cenários e volumes de dados ...