Mi aplicación django trata con archivos binarios de 25MB. Cada uno de ellos tiene unos 100,000 "registros" de 256 bytes cada uno.

Me toma aproximadamente 7 segundos leer el archivo binario del disco y decodificarlo usando el módulo struct de python. Convierto los datos en una lista de aproximadamente 100,000 artículos, donde cada artículo es un diccionario con valores de varios tipos (flotante, cadena, etc.).

Mis vistas django necesitan buscar a través de esta lista. Claramente 7 segundos es demasiado largo.

He intentado usar la API de almacenamiento en caché de bajo nivel de django para almacenar en caché toda la lista, pero eso no funcionará porque hay un límite de tamaño máximo de 1 MB para cualquier elemento en caché. He intentado almacenar en caché los 100.000 elementos de la lista de forma individual, pero eso lleva mucho más de 7 segundos; la mayor parte del tiempo se dedica a eliminar los elementos.

¿Hay alguna forma conveniente de almacenar una lista grande en la memoria entre las solicitudes? ¿Puedes pensar en otra forma de almacenar en caché el objeto para que lo use mi aplicación django?