Minha aplicação django lida com arquivos binários de 25MB. Cada um deles tem cerca de 100.000 "registros" de 256 bytes cada.

Demoro cerca de 7 segundos para ler o arquivo binário do disco e decodificá-lo usando o módulo struct do python. Eu transformo os dados em uma lista de cerca de 100.000 itens, onde cada item é um dicionário com valores de vários tipos (float, string, etc.).

Minhas visões de django precisam procurar por esta lista. Claramente 7 segundos é muito longo.

Eu tentei usar a API de armazenamento em cache de baixo nível do django para armazenar em cache toda a lista, mas isso não funcionará porque há um limite máximo de tamanho de 1MB para qualquer item individual em cache. Eu tentei armazenar em cache os 100.000 itens da lista individualmente, mas isso leva muito mais do que 7 segundos - a maior parte do tempo é gasto desparafusando os itens.

Existe uma maneira conveniente de armazenar uma lista grande na memória entre as solicitações? Você pode pensar em outra maneira de armazenar em cache o objeto para uso pelo meu aplicativo django?