Сжатие серии объектов JSON при поддержании последовательного чтения?
У меня есть кучаJSON объекты что мне нужно сжать, так как он потребляет слишком много места на диске, примерно20 gigs
стоит для нескольких миллионов из них.
В идеале я хотел бы сжать каждый из них по отдельности, а затем, когда мне нужно прочитать их, просто итеративно загрузить и распаковать каждый из них. Я попытался сделать это, создав текстовый файл с каждой строкой, сжатойJSON объект черезZlib, но это терпит неудачу с
decompress error due to a truncated stream
,
что я считаю, из-за сжатых строк, содержащих новые строки.
Кто-нибудь знает хороший метод для этого?