Установка пользовательских кодеров и обработка параметризованных типов

У меня есть два вопроса, связанных с проблемами кодера, с которыми я сталкиваюсь в своем конвейере потока данных.Как мне настроить кодер для моих пользовател...

Какова задержка данных потокового журнала между облачными сервисами AWS и Google?

Кто-нибудь имел опыт работы с:Отправка потоковых / микропакетированных данных журнала из Amazon в BigQuery для обработки и может пролить свет на любую пробле...

Профилирование памяти в облачном потоке данных Google

Каков наилучший способ устранения проблем с памятью задания потока данных?Моя работа терпела неудачу с ошибкой OC GC, но когда я профилирую ее локально, я не...

Запись вывода конвейера потока данных в разделенное назначение

У нас есть один источник потоковых событий с тысячами событий в секунду, и все эти события помечены идентификатором, указывающим, к какому из наших десятков ...

Сложное объединение с потоком данных Google

Я новичок, пытающийся понять, как мы можем переписать пакетный процесс ETL в Google Dataflow. Я прочитал некоторые документы, приведу несколько примеров.Я пр...

Можно ли обрабатывать входные данные хранилища данных в конвейере потока данных Google в пакете из N записей одновременно?

Я пытаюсь выполнить работу конвейера потока данных, которая будет выполнять одну функцию наN записей одновременно из хранилища данных. В моем случае эта функ...

Может ли облачный поток данных Google (Apache Beam) использовать ffmpeg для обработки видео или данных изображения

Можно ли использовать пользовательский компьютер для экземпляров потока данных?

Динамическое имя таблицы при записи в BQ из конвейеров потока данных

Когда в облачном потоке данных Google PubSubIO подтверждается чтение сообщения?

Можно ли отложить подтверждение до тех пор, пока подграф (все, что ниже PubSubIO.Read) не будет успешно обработан?Например, мыпотоковый читает из подписки на...