Resultados da pesquisa a pedido "apache-beam"
Apache Beam: PubsubReader falha com o NPE
Eu tenho um pipeline de feixe que lê do PubSub e grava no BigQuery depois de aplicar alguma transformação. O pipeline falha constantemente com um NPE. Estou usando o feixe SDK versão 0.6.0. Alguma idéia do que eu poderia estar fazendo de errado? ...
BigQuery writeTableRows Sempre gravando no buffer
Estamos tentando gravar no Big Query usando o Apache Beam e o avro. O seguinte parece funcionar bem: - p.apply("Input", AvroIO.read(DataStructure.class).from("AvroSampleFile.avro")) .apply("Transform", ParDo.of(new CustomTransformFunction())) ...
A indexação com estado faz com que o ParDo seja executado com thread único no Dataflow Runner
Estamos gerando um índice seqüencial em um ParDo usando o Java SDK 2.0.0 da Beam. Assim como o exemplo simples de índice com estado em Beamintrodução ao processamento com ...
Solução de problemas de erros de importação de pipeline do apache beam [objetos BoundedSource são maiores que o limite permitido]
Eu tenho vários arquivos de texto (~ 1 milhão) armazenados no armazenamento em nuvem do Google. Quando leio esses arquivos no pipeline do Google Cloud DataFlow para processamento, sempre recebo o seguinte erro: Total size of the BoundedSource ...
Inicie o CloudSQL Proxy no Python Dataflow / Apache Beam
Atualmente, estou trabalhando em um trabalho ETL Dataflow (usando o Apache Beam Python SDK) que consulta dados do CloudSQL (compsycopg2 e um costumeParDo) e grava no BigQuery. Meu objetivo é criar um modelo de fluxo de dados que eu possa iniciar ...
onflito do @Maven no aplicativo Java com dependência google-cloud-core-grpc
(Também levantei um problema no GitHub para isso -https: //github.com/googleapis/google-cloud-java/issues/409 [https://github.com/googleapis/google-cloud-java/issues/4095]) Tenho as versões mais recentes das 2 dependências a seguir para o ...
SortValues transforma a extensão Java SDK no Beam apenas em ambiente hadoop?
Eu tentei o código de exemplo deSortValues [https://beam.apache.org/documentation/sdks/java-extensions/#sorter]transformar usandoDirectRunner na máquina local (Windows) PCollection<KV<String, KV<String, Integer>>> input = ... ...
Consumindo dados ilimitados no Windows com gatilho padrão
eu tenho umPub / Sub [https://cloud.google.com/pubsub/docs]tópico + assinatura e deseja consumir e agregar os dados ilimitados da assinatura em umDataflow [https://cloud.google.com/dataflow/docs]. Eu uso uma janela fixa e escrevo os agregados no ...
O que é o Apache Beam? [fechadas]
Eu estava examinando as postagens do Apache e encontrei um novo termo chamado Beam. Alguém pode explicar exatamente o que é o Apache Beam? Tentei pesquisar no Google, mas não consegui uma resposta clara.
importar conflito de metaclasse apache_beam
Quando tento importar o apache beam, recebo o seguinte erro. >>> import apache_beam Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/toor/pfff/local/lib/python2.7/site-packages/apache_beam/__init__.py", line 78, ...