Я учусь делать веб-скребки и хочу использовать TripAdvisor для личного проекта, используя html с помощью urllib2. Однако я столкнулся с проблемой, когда с помощью приведенного ниже кода HTML-код, который я получаю, неверен, поскольку страница перенаправляется на секунду (вы можете убедиться в этом, посетив URL-адрес) - вместо этого я получаю код со страницы, которая первоначально кратко появляется.

Есть ли какое-либо поведение или параметр, который нужно настроить, чтобы убедиться, что страница полностью закончила загрузку / перенаправление перед получением содержимого сайта?

import urllib2
from bs4 import BeautifulSoup

bostonPage = urllib2.urlopen("http://www.tripadvisor.com/HACSearch?geo=34438#02,1342106684473,rad:S0,sponsors:ABEST_WESTERN,style:Szff_6")
soup = BeautifulSoup(bostonPage)
print soup.prettify()

Редактировать: Ответ является полным, однако, в конце концов, что решило мою проблему было следующее: https://stackoverflow.com/a/3210737/1157283