Resultados da pesquisa a pedido "google-cloud-dataflow"
Como corrigir o Dataflow incapaz de serializar meu DoFn?
Quando executo meu pipeline de fluxo de dados, recebo a exceção abaixo, reclamando que meu DoFn não pode ser serializado. Como faço para corrigir isso? Aqui está o rastreamento de pilha: Caused by: java.lang.IllegalArgumentException: unable to ...
Ignorando linhas de cabeçalho - é possível com o Cloud DataFlow?
Eu criei um Pipeline, que lê um arquivo no GCS, o transforma e, finalmente, grava em uma tabela BQ. O arquivo contém uma linha de cabeçalho (campos). Existe alguma maneira de definir programaticamente o "número de linhas de cabeçalho para pular" ...
Como obter o nome do arquivo ao usar a correspondência de padrão de arquivo no google-cloud-dataflow
Alguém sabe como obter o nome do arquivo ao usar a correspondência de padrão de arquivo no google-cloud-dataflow? Eu sou novato em usar o fluxo de dados. Como obter o nome do arquivo ao usar o arquivo patten match, dessa ...
Gravando resultados do pipeline do fluxo de dados do Google em vários sumidouros
Gostaria de gravar os resultados do pipeline do fluxo de dados do Google em vários sumidouros. Quero escrever o resultado usando o TextIO no Google Cloud Storage, bem como gravar os resultados como uma tabela no BigQuery. Como eu posso fazer isso?
Como gravar no BigQuery um esquema calculado durante a execução do mesmo pipeline do Dataflow?
Meu cenário é uma variação do discutido aqui:Como escrevo no BigQuery usando um esquema calculado durante a execução do ...
detectClassPathResourcesToStage - Não foi possível converter o URL
Quando executo o jar no GCE, ocorreu o seguinte erro: java -jar mySimple.jar --project = myProjcet Aug 13, 2015 1:22:26 AM com.google.cloud.dataflow.sdk.runners.DataflowPipelineRunner detectClassPathResourcesToStage SEVERE: Unable to convert ...
O trabalho de streaming do Cloud Dataflow pode escalar para zero?
Estou usando os pipelines de streaming do Cloud Dataflow para inserir eventos recebidos do Pub / Sub em um conjunto de dados do BigQuery. Preciso de alguns para manter cada trabalho simples e fácil de manter. Minha preocupação é com o custo ...
Definir codificadores personalizados e manipulação de tipos de parâmetros
Tenho duas perguntas relacionadas a problemas de codificador que estou enfrentando com meu pipeline do Dataflow. Como faço para definir um codificador para meus tipos de dados personalizados? A classe consiste em apenas três itens - dois duplos ...
Qual é a latência dos dados do log de streaming entre os serviços em nuvem da AWS e do Google?
Alguém já teve experiência com: O envio de dados de log em fluxo / com lotes em lotes do Amazon para o BigQuery para processar e pode esclarecer qualquer problema de latência?Envio de logs (em lotes) do Google DataFlow para a Amazon (Kinesis / ...
Perfil de memória no Google Cloud Dataflow
Qual seria a melhor maneira de depurar problemas de memória de um trabalho de fluxo de dados? Meu trabalho estava falhando com um erro de GC OOM, mas quando o perfilo localmente, não consigo reproduzir os cenários e volumes de dados ...