Результаты поиска по запросу "google-cloud-dataflow"
, Что вы будете делать в этой опции, так это в основном настроить триггер, когда что-то падает в определенный сегмент, и переместить его в другой, используя вашу самописанную функцию облака.
ли выполнить действие, когда пакетное задание потока данных завершило обработку всех данных? В частности, я бы хотел переместить текстовый файл, который толь...
Извините, что мы не определили проблему, но я уверен, что эта помпа будет полезна для других, кто может столкнуться с той же проблемой. Спасибо за публикацию :).
у передать имя файла, загруженного в Google Cloud Storage, из Cloud Functions в Dataflow, чтобы я мог обработать загруженный файл. Код, который я написал для облачных функций: const google = require('googleapis'); exports.goWithTheDataFlow ...
чтобы правильно реализовать это, используя алгоритм сравнения и замены, каждый элемент будет по-прежнему обрабатываться последовательно, причем все потоки, кроме одного, будут все время ожидать.
нерируем последовательный индекс в ParDo, используя Java SDK 2.0.0 от Beam. Так же, как простой пример с указателем состояния в Beamвведение в обработку состояний ...
В противном случае вам просто нужно использовать Beam с версией выпуска> = 2.0.0.
бовал пример кодаSortValues [https://beam.apache.org/documentation/sdks/java-extensions/#sorter] преобразовать с помощьюDirectRunner на локальной машине (Windows) PCollection<KV<String, KV<String, Integer>>> input = ... ...
Отлично, спасибо за помощь!
аюсь выяснить, как загрузить файл CSV из GCS в BigQuery. Трубопровод ниже: // Create the pipeline Pipeline p = Pipeline.create(options); // Create the PCollection from csv PCollection<String> lines ...
Не стесняйтесь задавать вопросы, если вы хотите, чтобы я разъяснил это дальше.
у найти только женщин-сотрудников из двух разных файлов JSON и выбрать только те поля, которые нас интересуют, и записать вывод в другой JSON. Также я пытаюсь реализовать это в облачной платформе Google, используя Dataflow. Может ли кто-нибудь ...
Это не работает (пробовал в сочетании с раздвижными и глобальными окнами)
аюсь реализовать конвейер и принимает поток данных, и каждую минуту выводит True, если есть какой-либо элемент в минутном интервале, или False, если его нет. Панель (с постоянным временным триггером) или окно (фиксированное окно), по-видимому, не ...