uso de la memoria, cómo liberar memoria
Estoy usando python y cuando indexo documentos (para el motor de búsqueda) se necesita una gran cantidad de RAM, después de que detenga el proceso de indexación, la memoria aún está llena (como 8 gb de RAM). Esto es malo porque necesito que mi motor de búsqueda funcione todo el tiempo y no para reiniciar el sistema operativo cuando termine la indexación. ¿Hay alguna forma eficiente de cómo administrar con enormes arrays, diccionarios y listas, y cómo liberarlos? ¿Algunas ideas?
También vi algunas preguntas al respecto en stackoverflow, pero son viejas:
Huella de memoria de Python vs. tamaño de pila
Asignación de memoria de perfil en Python (con soporte para matrices Numpy)
Info:
free -t
total used free shared buffers cached
Mem: 5839 5724 114 0 15 1011
-/+ buffers/cache: 4698 1141
Swap: 1021 186 835
Total: 6861 5910 950
top | grep python
3164 root 20 0 68748 31m 1404 R 17 0.5 53:43.89 python
6716 baddc0re 20 0 84788 30m 1692 S 0 0.5 0:06.81 python
ps aux | grep python
root 3164 57.1 0.4 64876 29824 pts/0 R+ May27 54:23 python SE_doc_parse.py
baddc0re 6693 0.0 0.2 53240 16224 pts/1 S+ 00:46 0:00 python index.py
uptime
01:02:40 up 1:43, 3 users, load average: 1.22, 1.46, 1.39
sysctl vm.min_free_kbytes
vm.min_free_kbytes = 67584
El problema real es que cuando comienzo el script, la indexación es rápida, pero cuando el uso aumenta, se vuelve más lento.
Document wikidoc_18784 added on 2012-05-28 01:03:46 "fast"
wikidoc_18784
-----------------------------------
Document wikidoc_21934 added on 2012-05-28 01:04:00 "slower"
wikidoc_21934
-----------------------------------
Document wikidoc_22903 added on 2012-05-28 01:04:01 "slower"
wikidoc_22903
-----------------------------------
Document wikidoc_20274 added on 2012-05-28 01:04:10 "slower"
wikidoc_20274
-----------------------------------
Document wikidoc_23013 added on 2012-05-28 01:04:53 "even more slower"
wikidoc_23013
El tamaño de los documentos es de una o dos páginas de texto máximo. La indexación de 10 páginas tarda unos 2-3 segundos.
Tnx a todos por la ayuda :)