чтобы правильно реализовать это, используя алгоритм сравнения и замены, каждый элемент будет по-прежнему обрабатываться последовательно, причем все потоки, кроме одного, будут все время ожидать.

нерируем последовательный индекс в ParDo, используя Java SDK 2.0.0 от Beam. Так же, как простой пример с указателем состояния в Beamвведение в обработку состояний ...

это то, что я использую.

Вот

Руководство по программированию Beam

https://gcloud-python.readthedocs.io/en/0.10.0/_modules/gcloud/datastore/helpers.html

Я хотел бы увидеть пример кеширования с использованием гуавы или использования State.

тим построить конвейер потоковой передачи данных Cloud, который принимает события из Pubsub и выполняет несколько ETL-подобных операций для каждого отдельног...

эта функция доступна в Python SDK сейчас?

Ночная сборка, похоже, исправила проблему. Спасибо, Томас.

Как комментарий, вам не нужно запускать все эти профилирования - это может замедлить вашу работу.

ользую Dataflow 0.5.5 Python. Наткнулся на следующую ошибку в очень простом коде:

Я решил, используя несколько пардос, в конце концов, спасибо.