Результаты поиска по запросу "google-cloud-dataflow"

1 ответ

Установка пользовательских кодеров и обработка параметризованных типов

У меня есть два вопроса, связанных с проблемами кодера, с которыми я сталкиваюсь в своем конвейере потока данных.Как мне настроить кодер для моих пользовател...

1 ответ

Профилирование памяти в облачном потоке данных Google

Каков наилучший способ устранения проблем с памятью задания потока данных?Моя работа терпела неудачу с ошибкой OC GC, но когда я профилирую ее локально, я не...

1 ответ

Спасибо за ваш ответ. Начиная с новой версии SDK 2.x, источник Pub / Sub находится только в потоковом режиме. Так что это решение не будет возможно в этом случае. :-(

ользую потоковые конвейеры Cloud Dataflow для вставки событий, полученных из Pub / Sub, в набор данных BigQuery. Мне нужно несколько, чтобы каждая работа была простой и легкой в ​​обслуживании. Меня беспокоит глобальная стоимость. Объем данных ...

ТОП публикаций

1 ответ

Можно ли обрабатывать входные данные хранилища данных в конвейере потока данных Google в пакете из N записей одновременно?

Я пытаюсь выполнить работу конвейера потока данных, которая будет выполнять одну функцию наN записей одновременно из хранилища данных. В моем случае эта функ...

1 ответ

Когда в облачном потоке данных Google PubSubIO подтверждается чтение сообщения?

Можно ли отложить подтверждение до тех пор, пока подграф (все, что ниже PubSubIO.Read) не будет успешно обработан?Например, мыпотоковый читает из подписки на...

1 ответ

Обнаружение изменений состояния ключа

1 ответ

это сработало, спасибо

я пытаюсь импортировать Apache Beam, я получаю следующую ошибку. >>> import apache_beam Traceback (most recent call last): File "<stdin>", line 1, in <module> ...

2 ответа

Как решить «Ни Jetty ALPN, ни OpenSSL через netty-tcnative не были правильно настроены»?

1 ответ

Использование неограниченных данных в окнах с триггером по умолчанию

у меня естьPub / Sub тема + подписка и хотите использовать и объединять неограниченные данные из подписки вПоток данных, Я использую фиксированное окно и зап...

1 ответ

Динамическое имя таблицы при записи в BQ из конвейеров потока данных