Как комментарий, вам не нужно запускать все эти профилирования - это может замедлить вашу работу.

ользую Dataflow 0.5.5 Python. Наткнулся на следующую ошибку в очень простом коде:

В противном случае вам просто нужно использовать Beam с версией выпуска> = 2.0.0.

бовал пример кодаSortValues [https://beam.apache.org/documentation/sdks/java-extensions/#sorter] преобразовать с помощьюDirectRunner на локальной машине (Windows) PCollection<KV<String, KV<String, Integer>>> input = ... ...

 но я не могу найти использование с Google Cloud. Любые примеры будут полезны.

я есть куча текстовых файлов (~ 1M), хранящихся в облачном хранилище Google. Когда я читаю эти файлы в конвейер Google Cloud DataFlow для обработки, я всегда получаю следующую ошибку: Total size of the BoundedSource objects returned by ...

github.com/spring-cloud/spring-cloud-gcp/issues/442

но приложение весенней загрузки 2.0.0.RC с Google Dataflow и другими службами и развернуто с помощью следующей команды mavenmvn appengine:deploy, Сборка проходит успешно в AppEngine, и создается экземпляр. Проблема в приборной панели App Engine: ...

Как объединить потоковые данные с большим набором исторических данных в Dataflow / Beam

Использование неограниченных данных в окнах с триггером по умолчанию

у меня естьPub / Sub тема + подписка и хотите использовать и объединять неограниченные данные из подписки вПоток данных, Я использую фиксированное окно и зап...

Я решил, используя несколько пардос, в конце концов, спасибо.

Ночная сборка, похоже, исправила проблему. Спасибо, Томас.

эта функция доступна в Python SDK сейчас?

Я хотел бы увидеть пример кеширования с использованием гуавы или использования State.

тим построить конвейер потоковой передачи данных Cloud, который принимает события из Pubsub и выполняет несколько ETL-подобных операций для каждого отдельног...