Как комментарий, вам не нужно запускать все эти профилирования - это может замедлить вашу работу.

ользую Dataflow 0.5.5 Python. Наткнулся на следующую ошибку в очень простом коде:

Извините, что мы не определили проблему, но я уверен, что эта помпа будет полезна для других, кто может столкнуться с той же проблемой. Спасибо за публикацию :).

у передать имя файла, загруженного в Google Cloud Storage, из Cloud Functions в Dataflow, чтобы я мог обработать загруженный файл. Код, который я написал для облачных функций: const google = require('googleapis'); exports.goWithTheDataFlow ...

В противном случае вам просто нужно использовать Beam с версией выпуска> = 2.0.0.

бовал пример кодаSortValues [https://beam.apache.org/documentation/sdks/java-extensions/#sorter] преобразовать с помощьюDirectRunner на локальной машине (Windows) PCollection<KV<String, KV<String, Integer>>> input = ... ...

 но я не могу найти использование с Google Cloud. Любые примеры будут полезны.

я есть куча текстовых файлов (~ 1M), хранящихся в облачном хранилище Google. Когда я читаю эти файлы в конвейер Google Cloud DataFlow для обработки, я всегда получаю следующую ошибку: Total size of the BoundedSource objects returned by ...

Удалось ли вам достичь того, чего вы хотели?

твуют ли инструкции по использованию Google Cloud SQL в качестве источника и / или приемника чтения потока данных? НаДокументация по Apache Beam Python SDK 2.1.0 [https://beam.apache.org/documentation/sdks/pydoc/2.1.0/apache_beam.html]нет главы, ...

Пропуск строк заголовка - возможно ли это с Cloud DataFlow?

Я создал конвейер, который читает из файла в GCS, преобразует его и, наконец, записывает в таблицу BQ. Файл содержит строку заголовка (поля).Есть ли способ п...

Как получить имя файла при использовании сопоставления с шаблоном файла в google-cloud-dataflow

Запись результатов конвейера данных Google в несколько приемников

Я хотел бы записать результаты конвейера потока данных Google в несколько приемников.Например, я хочу записать результат с помощью TextIO в Google Cloud Stor...

Как мне написать в BigQuery схему, вычисленную во время выполнения того же конвейера потока данных?

detectClassPathResourcesToStage - Невозможно преобразовать URL

Когда я запускаю флягу в GCE, у нее была следующая ошибка:java -jar mySimple.jar --project = myProjcet