Результаты поиска по запросу "google-cloud-dataflow"
Как получить список элементов из PCollection в Google Dataflow и использовать его в конвейере для цикла записи трансформаций?
Я использую Google Cloud Dataflow с Python SDK.Я бы хотел :Получить список уникальных дат из мастер-коллекции PCollectionВыполните циклическое переключение п...
Запрос?
ылвопрос по этой теме, ответ сказал: «Подтверждение будет сделано после того, как сообщение будет надежно сохранено где-то в конвейере потока данных».Концепт...
У меня та же проблема, так что, наконец, какой правильный способ сделать это с DirectRunner?
у очень простой конвейер DataFlow с использованием Python SDK v0.5.5. Конвейер использует BigQuerySource с переданным запросом, который запрашивает таблицы B...
Как комментарий, вам не нужно запускать все эти профилирования - это может замедлить вашу работу.
ользую Dataflow 0.5.5 Python. Наткнулся на следующую ошибку в очень простом коде:
помог. По сути, превратил застрявший конвейер в рабочий без какого-либо вмешательства.
нимаю данные через pub / sub в конвейер потока данных, который работает в неограниченном режиме. Данные в основном являются координатами с метками времени, с...
Я хотел бы увидеть пример кеширования с использованием гуавы или использования State.
тим построить конвейер потоковой передачи данных Cloud, который принимает события из Pubsub и выполняет несколько ETL-подобных операций для каждого отдельног...