Resultados da pesquisa a pedido "google-cloud-dataflow"
detectClassPathResourcesToStage - Não foi possível converter o URL
Quando executo o jar no GCE, ocorreu o seguinte erro: java -jar mySimple.jar --project = myProjcet Aug 13, 2015 1:22:26 AM com.google.cloud.dataflow.sdk.runners.DataflowPipelineRunner detectClassPathResourcesToStage SEVERE: Unable to convert ...
Apache Beam: Não foi possível encontrar o registrador para gs
O feixe está usando os doisauto / valor [https://github.com/google/auto/tree/master/value]eauto-serviço [https://github.com/google/auto/tree/master/service]Ferramentas. Quero executar um pipeline com o Dataflow runner e os dados são armazenados ...
É possível usar uma máquina personalizada para instâncias do Dataflow?
Eu tenho lidocriando-instância-com-máquina-personalizada-tipo [https://cloud.google.com/compute/docs/instances/creating-instance-with-custom-machine-type] e Parece realmente interessante, mas não sei como configurar um trabalho de streaming de ...
O Google DataFlow não pode ler e gravar em locais diferentes (Python SDK v0.5.5)
Estou escrevendo um pipeline DataFlow muito básico usando o SDK do Python v0.5.5. O pipeline usa um BigQuerySource com uma consulta passada, que está consultando tabelas do BigQuery a partir de conjuntos de dados que residem na UE. Ao executar o ...
Lendo cabeçalho CSV com Dataflow
Eu tenho um arquivo CSV e não conheço os nomes das colunas antes do tempo. Preciso gerar os dados em JSON após algumas transformações no Google Dataflow. Qual é a melhor maneira de pegar a linha do cabeçalho e permear os rótulos por todas as ...
onflito do @Maven no aplicativo Java com dependência google-cloud-core-grpc
(Também levantei um problema no GitHub para isso -https: //github.com/googleapis/google-cloud-java/issues/409 [https://github.com/googleapis/google-cloud-java/issues/4095]) Tenho as versões mais recentes das 2 dependências a seguir para o ...
FTP para armazenamento do Google
Alguns arquivos são enviados diariamente para um servidor FTP e preciso desses arquivos no Google Cloud Storage. Não quero incomodar os usuários que fazem upload dos arquivos para instalar qualquer software adicional e apenas deixá-los continuar ...
Perfil de memória no Google Cloud Dataflow
Qual seria a melhor maneira de depurar problemas de memória de um trabalho de fluxo de dados? Meu trabalho estava falhando com um erro de GC OOM, mas quando o perfilo localmente, não consigo reproduzir os cenários e volumes de dados ...
Como obter o carimbo de data e hora máximo da janela deslizante atual
Estou usando uma janela de tempo deslizante de tamanho X e período Y. Para marcar a saída de cada janela, gostaria de obter o registro de data e hora da janela atual do PCollection. PCollection<T> windowedInput = input ...
Pipeline de fluxo de dados do Google com cache local da instância + chamadas externas à API REST
Queremos criar um pipeline de fluxo de dados do Cloud Dataflow que ingere eventos do Pubsub e execute várias operações semelhantes a ETL em cada evento individual. Uma dessas operações é que cada evento tem umID de dispositivo que precisam ser ...