Использование памяти Python массивов numpy
Я использую python для анализа некоторых больших файлов, и у меня возникают проблемы с памятью, поэтому я использую sys.getsizeof (), чтобы попытаться отследить использование, но его поведение с массивами с пустым фрагментом является странным. Вот пример, включающий карту альбедо, которые мне нужно открыть:
>>> import numpy as np
>>> import struct
>>> from sys import getsizeof
>>> f = open('Albedo_map.assoc', 'rb')
>>> getsizeof(f)
144
>>> albedo = struct.unpack('%df' % (7200*3600), f.read(7200*3600*4))
>>> getsizeof(albedo)
207360056
>>> albedo = np.array(albedo).reshape(3600,7200)
>>> getsizeof(albedo)
80
Ну, данные все еще там, но размер объекта, карта 3600x7200 пикселей, увеличился с ~ 200 Мб до 80 байт. Я хотел бы надеяться, что мои проблемы с памятью закончились, и просто преобразовать все в пустые массивы, но я чувствую, что такое поведение, если оно истинно, каким-то образом нарушит какой-то закон теории информации или термодинамику или что-то подобное, поэтому склонен полагать, что getsizeof () не работает с массивами numpy. Есть идеи?