Odczytaj duży plik tekstowy zip wiersz po wierszu w Pythonie
Próbuję użyć modułu zipfile do odczytu pliku w archiwum. nieskompresowany plik to ~ 3 GB, a skompresowany plik to 200 MB. Nie chcę ich w pamięci, ponieważ przetwarzam skompresowany plik wiersz po wierszu. Do tej pory zauważyłem nadużywanie pamięci przy użyciu następującego kodu:
import zipfile
f = open(...)
z = zipfile.ZipFile(f)
for line in zipfile.open(...).readlines()
print line
Zrobiłem to w C # za pomocą SharpZipLib:
var fStream = File.OpenRead("...");
var unzipper = new ICSharpCode.SharpZipLib.Zip.ZipFile(fStream);
var dataStream = unzipper.GetInputStream(0);
strumień danych jest nieskompresowany. Nie mogę znaleźć sposobu, aby to zrobić w Pythonie. Pomoc zostanie doceniona.