Solución de problemas de errores de importación de la tubería de viga apache [los objetos BoundedSource son mayores que el límite permitido]

Tengo un montón de archivos de texto (~ 1M) almacenados en Google Cloud Storage. Cuando leo estos archivos en la tubería de Google Cloud DataFlow para su procesamiento, siempre aparece el siguiente error:

Total size of the BoundedSource objects returned by BoundedSource.split() operation is larger than the allowable limit

La página de solución de problemas dice:

Puede encontrar este error si está leyendo desde una gran cantidad de archivos a través de TextIO, AvroIO o alguna otra fuente basada en archivos. El límite particular depende de los detalles de su fuente (por ejemplo, el esquema de incrustación en AvroIO. Read permitirá menos archivos), pero está en el orden de decenas de miles de archivos en una sola tubería.

¿Eso significa que tengo que dividir mis archivos en lotes más pequeños, en lugar de importarlos todos a la vez?

Estoy usando dataflow python sdk para desarrollar tuberías.