Результаты поиска по запросу "google-cloud-dataflow"
Установка пользовательских кодеров и обработка параметризованных типов
У меня есть два вопроса, связанных с проблемами кодера, с которыми я сталкиваюсь в своем конвейере потока данных.Как мне настроить кодер для моих пользовател...
Профилирование памяти в облачном потоке данных Google
Каков наилучший способ устранения проблем с памятью задания потока данных?Моя работа терпела неудачу с ошибкой OC GC, но когда я профилирую ее локально, я не...
Спасибо за ваш ответ. Начиная с новой версии SDK 2.x, источник Pub / Sub находится только в потоковом режиме. Так что это решение не будет возможно в этом случае. :-(
ользую потоковые конвейеры Cloud Dataflow для вставки событий, полученных из Pub / Sub, в набор данных BigQuery. Мне нужно несколько, чтобы каждая работа была простой и легкой в обслуживании. Меня беспокоит глобальная стоимость. Объем данных ...
Можно ли обрабатывать входные данные хранилища данных в конвейере потока данных Google в пакете из N записей одновременно?
Я пытаюсь выполнить работу конвейера потока данных, которая будет выполнять одну функцию наN записей одновременно из хранилища данных. В моем случае эта функ...
Когда в облачном потоке данных Google PubSubIO подтверждается чтение сообщения?
Можно ли отложить подтверждение до тех пор, пока подграф (все, что ниже PubSubIO.Read) не будет успешно обработан?Например, мыпотоковый читает из подписки на...
это сработало, спасибо
я пытаюсь импортировать Apache Beam, я получаю следующую ошибку. >>> import apache_beam Traceback (most recent call last): File "<stdin>", line 1, in <module> ...
Использование неограниченных данных в окнах с триггером по умолчанию
у меня естьPub / Sub тема + подписка и хотите использовать и объединять неограниченные данные из подписки вПоток данных, Я использую фиксированное окно и зап...