Мой сценарий - это вариант, описанный здесь:Как мне написать в BigQuery, используя схему, вычисленную во время выполнения потока данных?

В этом случае цель та же (чтение схемы во время выполнения, а затем запись таблицы с этой схемой в BigQuery), но я хочу сделать это в рамках одного конвейера.

Например, я хотел бы записать файл CSV в BigQuery и избегать выборки файла дважды (один раз для чтения схемы, один раз для чтения данных).

Это возможно? Если да, то какой подход лучше?

В настоящее время я предпочитаю прочитать схему в PCollection через боковой вывод, а затем использовать ее для создания таблицы (с пользовательским PTransform) перед передачей данных в BigQueryIO.Write.