Сложное объединение с потоком данных Google

Я новичок, пытающийся понять, как мы можем переписать пакетный процесс ETL в Google Dataflow. Я прочитал некоторые документы, приведу несколько примеров.Я пр...

Можно ли обрабатывать входные данные хранилища данных в конвейере потока данных Google в пакете из N записей одновременно?

Я пытаюсь выполнить работу конвейера потока данных, которая будет выполнять одну функцию наN записей одновременно из хранилища данных. В моем случае эта функ...

Может ли облачный поток данных Google (Apache Beam) использовать ffmpeg для обработки видео или данных изображения

Можно ли использовать пользовательский компьютер для экземпляров потока данных?

Динамическое имя таблицы при записи в BQ из конвейеров потока данных

Когда в облачном потоке данных Google PubSubIO подтверждается чтение сообщения?

Можно ли отложить подтверждение до тех пор, пока подграф (все, что ниже PubSubIO.Read) не будет успешно обработан?Например, мыпотоковый читает из подписки на...

Как объединить потоковые данные с большим набором исторических данных в Dataflow / Beam

ETL и анализ CSV-файлов в облачном потоке данных

Я новичок в облачном потоке данных и Java, поэтому надеюсь, что это правильный вопрос.У меня есть CSV-файл с n количеством столбцов и строк, которые могут бы...

Параметризованный тип вывода потока данных в файл avro

У меня есть конвейер, который успешно выводит файл Avro следующим образом:

Создание / запись в таблицу Parquitoned BigQuery через Облачный поток данных Google

Я хотел воспользоваться преимуществами новой функциональности BigQuery для таблиц с временным разделением, но не уверен, что это возможно в настоящее время в...