использование памяти, как освободить память
Я использую python, и при индексации документов (для поисковой системы) требуется много оперативной памяти, после того как я остановил процесс индексации, память все еще заполнена (например, 8 ГБ ОЗУ). Это плохо, потому что мне нужно, чтобы моя поисковая система работала все время, а не перезагружала ОС после завершения индексации. Есть ли какой-нибудь эффективный способ как управлять огромными массивами, словарями и списками, и как их освобождать. Есть идеи?
Я видел также несколько вопросов об этом на stackoverflow, но они старые:
Объем памяти Python по сравнению с размером кучи
Распределение памяти профиля в Python (с поддержкой массивов Numpy)
Информация:
free -t
total used free shared buffers cached
Mem: 5839 5724 114 0 15 1011
-/+ buffers/cache: 4698 1141
Swap: 1021 186 835
Total: 6861 5910 950
top | grep python
3164 root 20 0 68748 31m 1404 R 17 0.5 53:43.89 python
6716 baddc0re 20 0 84788 30m 1692 S 0 0.5 0:06.81 python
ps aux | grep python
root 3164 57.1 0.4 64876 29824 pts/0 R+ May27 54:23 python SE_doc_parse.py
baddc0re 6693 0.0 0.2 53240 16224 pts/1 S+ 00:46 0:00 python index.py
uptime
01:02:40 up 1:43, 3 users, load average: 1.22, 1.46, 1.39
sysctl vm.min_free_kbytes
vm.min_free_kbytes = 67584
Реальная проблема в том, что когда я запускаю скрипт, индексация происходит быстро, но когда использование увеличивается, оно становится медленнее.
Document wikidoc_18784 added on 2012-05-28 01:03:46 "fast"
wikidoc_18784
-----------------------------------
Document wikidoc_21934 added on 2012-05-28 01:04:00 "slower"
wikidoc_21934
-----------------------------------
Document wikidoc_22903 added on 2012-05-28 01:04:01 "slower"
wikidoc_22903
-----------------------------------
Document wikidoc_20274 added on 2012-05-28 01:04:10 "slower"
wikidoc_20274
-----------------------------------
Document wikidoc_23013 added on 2012-05-28 01:04:53 "even more slower"
wikidoc_23013
Размер документов - максимум одна или две страницы текста. Индексация 10 страниц занимает около 2-3 секунд.
Tnx всем за помощь :)