GZIP декомпрессия C # OutOfMemory
У меня есть много больших файлов gzip (приблизительно 10–200 МБ), которые я скачал с ftp для распаковки.
Поэтому я попытался Google и найти решение для распаковки gzip.
<code> static byte[] Decompress(byte[] gzip) { using (GZipStream stream = new GZipStream(new MemoryStream(gzip), CompressionMode.Decompress)) { const int size = 4096; byte[] buffer = new byte[size]; using (MemoryStream memory = new MemoryStream()) { int count = 0; do { count = stream.Read(buffer, 0, size); if (count > 0) { memory.Write(buffer, 0, count); } } while (count > 0); return memory.ToArray(); } } } </code>
это работает хорошо для любых файлов ниже 50 МБ, но как только я ввел более 50 МБ, я получил исключение системы из памяти. Последняя позиция и длина памяти перед исключением - 134217728. Я не думаю, что она связана с моей физической памятью, я понимаю, что не могу иметь объект более 2 ГБ, поскольку я использую 32-разрядную версию.
Мне также нужно обрабатывать данные после распаковки файлов. Я не уверен, является ли поток памяти лучшим подходом, но я действительно не люблю записывать в файл, а затем снова читать файлы.
Мои вопросы
why did I get System.OutMemoryException? what is the best possible solution to decompress gzip files and do some text processing afterwards?