Результаты поиска по запросу "google-cloud-dataflow"
Использование неограниченных данных в окнах с триггером по умолчанию
у меня естьPub / Sub тема + подписка и хотите использовать и объединять неограниченные данные из подписки вПоток данных, Я использую фиксированное окно и зап...
Запрос?
ылвопрос по этой теме, ответ сказал: «Подтверждение будет сделано после того, как сообщение будет надежно сохранено где-то в конвейере потока данных».Концепт...
У меня та же проблема, так что, наконец, какой правильный способ сделать это с DirectRunner?
у очень простой конвейер DataFlow с использованием Python SDK v0.5.5. Конвейер использует BigQuerySource с переданным запросом, который запрашивает таблицы B...
Как комментарий, вам не нужно запускать все эти профилирования - это может замедлить вашу работу.
ользую Dataflow 0.5.5 Python. Наткнулся на следующую ошибку в очень простом коде:
помог. По сути, превратил застрявший конвейер в рабочий без какого-либо вмешательства.
нимаю данные через pub / sub в конвейер потока данных, который работает в неограниченном режиме. Данные в основном являются координатами с метками времени, с...
Я хотел бы увидеть пример кеширования с использованием гуавы или использования State.
тим построить конвейер потоковой передачи данных Cloud, который принимает события из Pubsub и выполняет несколько ETL-подобных операций для каждого отдельног...