Próbuję wykorzystać mechanizację, aby pobrać z tej strony ceny dla kolei metro-północ Nowego Jorku:
http://as0.mta.info/mnr/fares/choosestation.cfm

Problem polega na tym, że po wybraniu pierwszej opcji witryna używa javascript do wypełnienia listy możliwych miejsc docelowych. Napisałem równoważny kod w Pythonie, ale nie wydaje mi się, żeby wszystko działało. Oto, co mam do tej pory:

import mechanize
import cookielib
from bs4 import BeautifulSoup

br = mechanize.Browser()
br.set_handle_robots(False)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1)     Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

br.open("http://as0.mta.info/mnr/fares/choosestation.cfm")

br.select_form(name="form1")
br.form.set_all_readonly(False)

origin_control = br.form.find_control("orig_stat", type="select")
origin_control_list = origin_control.items
origin_control.value = [origin_control.items[0].name]

destination_control_list = reFillList(0, origin_control_list)

destination_control = br.form.find_control("dest_stat", type="select")
destination_control.items = destination_control_list
destination_control.value = [destination_control.items[0].name]

response = br.submit()
response_text = response.read()
print response_text

Wiem, że nie podałem ci kodureFillList() metoda, ponieważ jest długa, ale załóżmy, że poprawnie tworzy listę obiektów mechanize.option. Python nie narzeka na mnie na nic, ale po przesłaniu otrzymuję HTML dla tego alertu:

„Informacje o opłatach za przejazd między dwoma liniami nie są dostępne on-line. Skontaktuj się z naszym Centrum Informacji dla Klientów pod numerem 511 i poproś o rozmowę z przedstawicielem w celu uzyskania dalszych informacji.”

Czy coś mi umyka? Dzięki za pomoc!