ecesito encontrar la manera de escribir la salida del archivo en un archivo comprimido en Python, de forma similar a la de dos líneas a continuación:

open ZIPPED, "| gzip -c > zipped.gz";
print ZIPPED "Hello world\n";

En Perl, esto usa Unix gzip para comprimir lo que imprima en el archivo ZIPPED en el archivo "zipped.gz".

Sé cómo usar "import gzip" para hacer esto en Python de esta manera:

import gzip
zipped = gzip.open("zipped.gz", 'wb')
zipped.write("Hello world\n")

Sin embargo, eso es extremadamente lento. Según el generador de perfiles, el uso de ese método ocupa el 90% de mi tiempo de ejecución ya que estoy escribiendo 200 GB de datos sin comprimir en varios archivos de salida. Soy consciente de que el sistema de archivos podría ser parte del problema aquí, pero quiero descartarlo usando la compresión Unix / Linux. Esto se debe en parte a que he oído que la descompresión con este mismo módulo también es lenta.