Я пытаюсь получить некоторые данные с веб-сайта. Однако это возвращает меняincomplete read, Данные, которые я пытаюсь получить, представляют собой огромный набор вложенных ссылок. Я провел некоторые исследования в Интернете и обнаружил, что это может быть связано с ошибкой сервера (кодирование передачи по частям завершается до достижения ожидаемого размера). Я также нашел обходной путь для выше по этомуссылка

Тем не менее, я не уверен, как использовать это для моего случая. Ниже приведен код, над которым я работаю

br = mechanize.Browser()
br.addheaders = [('User-agent', 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1;Trident/5.0)')]
urls = "http://shop.o2.co.uk/mobile_phones/Pay_Monthly/smartphone/all_brands"
page = urllib2.urlopen(urls).read()
soup = BeautifulSoup(page)
links = soup.findAll('img',url=True)

for tag in links:
    name = tag['alt']
    tag['url'] = urlparse.urljoin(urls, tag['url'])
    r = br.open(tag['url'])
    page_child = br.response().read()
    soup_child = BeautifulSoup(page_child)
    contracts = [tag_c['value']for tag_c in soup_child.findAll('input', {"name": "tariff-duration"})]
    data_usage = [tag_c['value']for tag_c in soup_child.findAll('input', {"name": "allowance"})]
    print contracts
    print data_usage

Пожалуйста, помогите мне с этим. Спасибо