Результаты поиска по запросу "google-cloud-dataflow"
Это не работает (пробовал в сочетании с раздвижными и глобальными окнами)
аюсь реализовать конвейер и принимает поток данных, и каждую минуту выводит True, если есть какой-либо элемент в минутном интервале, или False, если его нет. Панель (с постоянным временным триггером) или окно (фиксированное окно), по-видимому, не ...
Я хотел бы увидеть пример кеширования с использованием гуавы или использования State.
тим построить конвейер потоковой передачи данных Cloud, который принимает события из Pubsub и выполняет несколько ETL-подобных операций для каждого отдельног...
Запись вывода конвейера потока данных в разделенное назначение
У нас есть один источник потоковых событий с тысячами событий в секунду, и все эти события помечены идентификатором, указывающим, к какому из наших десятков ...
@Vetri спасибо за ваш ответ! Мне удалось заставить свою функцию работать после исправления нескольких проблем. Для записи мне не нужно было экспортировать переменную env, если эмулятор облачной функции настроен правильно
вернул облачную функцию, чтобы вызвать шаблон конвейера потока данных и попытаться вызвать функцию, поместив файл в хранилище облачного хранилища. Как обязательное условие для node.js, npm init npm install --save googleapisindex.js const ...
Как получить список элементов из PCollection в Google Dataflow и использовать его в конвейере для цикла записи трансформаций?
Я использую Google Cloud Dataflow с Python SDK.Я бы хотел :Получить список уникальных дат из мастер-коллекции PCollectionВыполните циклическое переключение п...