Я использую Qt QWebPage для рендеринга страницы, которая использует javascript для динамического обновления своего содержимого - поэтому библиотека, которая просто загружает статическую версию страницы (например, urllib2), не будет работать.

Моя проблема в том, что когда я рендерил вторую страницу, примерно в 99% случаев программа просто зависала. В других случаях он будет работать три раза до сбоя. Я также получил несколько ошибок, но это все очень случайно.

Я предполагаю, что объект, который я использую для визуализации, не удаляется должным образом, поэтому попытка его повторного использования может вызвать некоторые проблемы для меня. Я просмотрел все, и никто, похоже, не имеет такой же проблемы.

Вот код, который я использую. Программа загружает веб-страницы с рынка сообщества Steam, чтобы я мог создать базу данных всех предметов. Мне нужно позвонитьgetItemsFromPage функционировать несколько раз, чтобы получить все элементы, так как они разбиты на страницы (показаны результаты 1-10 из X количества).

import csv
import re
import sys
from string import replace
from bs4 import BeautifulSoup
from PyQt4.QtGui import *
from PyQt4.QtCore import *
from PyQt4.QtWebKit import *

class Item:
    __slots__ = ("name", "count", "price", "game")

    def __repr__(self):
        return self.name + "(" + str(self.count) + ")"

    def __str__(self):
        return self.name + ", " + str(self.count) + ", $" + str(self.price)

class Render(QWebPage):  
    def __init__(self, url):
        self.app = QApplication(sys.argv)
        QWebPage.__init__(self)
        self.loadFinished.connect(self._loadFinished)
        self.mainFrame().load(QUrl(url))
        self.app.exec_()

    def _loadFinished(self, result):
        self.frame = self.mainFrame()
        self.app.quit()
        self.deleteLater()

def getItemsFromPage(appid, page=1):

    r = Render("http://steamcommunity.com/market/search?q=appid:" + str(appid) + "#p" + str(page))

    soup = BeautifulSoup(str(r.frame.toHtml().toUtf8()))

    itemLst = soup.find_all("div", "market_listing_row market_recent_listing_row")

    items = []

    for k in itemLst:
        i = Item()

        i.name = k.find("span", "market_listing_item_name").string
        i.count = int(replace(k.find("span", "market_listing_num_listings_qty").string, ",", ""))
        i.price = float(re.search(r'\$([0-9]+\.[0-9]+)', str(k)).group(1))
        i.game = appid

        items.append(i)

    return items

if __name__ == "__main__":

    print "Updating market items to dota2.csv ..."

    i = 1

    with open("dota2.csv", "w") as f:
        writer = csv.writer(f)

        r = None

        while True:
            print "Page " + str(i)

            items = getItemsFromPage(570)

            if len(items) == 0:
                print "No items found, stopping..."
                break

            for k in items:
                writer.writerow((k.name, k.count, k.price, k.game))

            i += 1

    print "Done."

призваниеgetItemsFromPage однажды работает нормально. Последующие звонки вызывают у меня проблемы. Вывод программы обычно

Updating market items to dota2.csv ...
Page 1
Page 2

и тогда это терпит крах. Это должно продолжаться более 700 страниц.