GZIP декомпрессия C # OutOfMemory
У меня есть много больших файлов gzip (приблизительно 10–200 МБ), которые я скачал с ftp для распаковки.
Поэтому я попытался Google и найти решение для распаковки gzip.
static byte[] Decompress(byte[] gzip)
{
using (GZipStream stream = new GZipStream(new MemoryStream(gzip), CompressionMode.Decompress))
{
const int size = 4096;
byte[] buffer = new byte[size];
using (MemoryStream memory = new MemoryStream())
{
int count = 0;
do
{
count = stream.Read(buffer, 0, size);
if (count > 0)
{
memory.Write(buffer, 0, count);
}
}
while (count > 0);
return memory.ToArray();
}
}
}
это работает хорошо для любых файлов ниже 50 МБ, но как только я ввел более 50 МБ, я получил исключение системы из памяти. Последняя позиция и длина памяти перед исключением - 134217728. Я не думаю, что она связана с моей физической памятью, я понимаю, что не могу иметь объект более 2 ГБ, поскольку я использую 32-разрядную версию.
Мне также нужно обрабатывать данные после распаковки файлов. Я не уверен, является ли поток памяти лучшим подходом, но я действительно не люблю записывать в файл, а затем снова читать файлы.
Мои вопросы
why did I get System.OutMemoryException? what is the best possible solution to decompress gzip files and do some text processing afterwards?