Criando / gravando em uma tabela BigQuery com acompanhamento por meio do Google Cloud Dataflow
Eu queria aproveitar a nova funcionalidade do BigQuery de tabelas particionadas com horário, mas não tenho certeza se isso é possível atualmente na versão 1.6 do SDK do Dataflow.
Olhando para oAPI JSON do BigQuery, para criar uma tabela particionada diurna, é necessário passar em um
"timePartitioning": { "type": "DAY" }
opção, mas a interface com.google.cloud.dataflow.sdk.io.BigQueryIO permite apenas especificar um TableReference.
Pensei que talvez pudesse pré-criar a tabela e esgueirar-se em um decorador de partição por meio de um lambda BigQueryIO.Write.toTableReference ..? Alguém mais está tendo sucesso com a criação / gravação de tabelas particionadas via Dataflow?
Parece um problema semelhante ao definir otempo de expiração da tabela que também não está disponível no momento.