Wysokie wykorzystanie pamięci w Pythonie z BeautifulSoup
Próbowałem przetworzyć kilka stron internetowych za pomocą BeautifulSoup4 w pythonie 2.7.3, ale po każdym analizie zużycie pamięci wzrasta.
Ten uproszczony kod daje takie samo zachowanie:
from bs4 import BeautifulSoup
def parse():
f = open("index.html", "r")
page = BeautifulSoup(f.read(), "lxml")
f.close()
while True:
parse()
raw_input()
Po wywołaniu parse () przez pięć razy proces pythona już wykorzystuje 30 MB pamięci (używany plik HTML miał około 100 kB) i wzrósł o 4 MB każdego wywołania. Czy istnieje sposób na zwolnienie tej pamięci lub obejścia?
Aktualizacja: To zachowanie powoduje bóle głowy. Ten kod z łatwością zużywa dużo pamięci, nawet jeśli zmienna BeautifulSoup powinna być długo usuwana:
from bs4 import BeautifulSoup
import threading, httplib, gc
class pageThread(threading.Thread):
def run(self):
con = httplib.HTTPConnection("stackoverflow.com")
con.request("GET", "/")
res = con.getresponse()
if res.status == 200:
page = BeautifulSoup(res.read(), "lxml")
con.close()
def load():
t = list()
for i in range(5):
t.append(pageThread())
t[i].start()
for thread in t:
thread.join()
while not raw_input("load? "):
gc.collect()
load()
Czy to może być jakiś błąd?