Я пытаюсь использовать механизацию, чтобы получить цены на железную дорогу метро Нью-Йорк с этого сайта:
http://as0.mta.info/mnr/fares/choosestation.cfm

Проблема в том, что когда вы выбираете первый вариант, сайт использует javascript для заполнения вашего списка возможных мест назначения. Я написал эквивалентный код на Python, но я не могу заставить его работать. Вот что я имею до сих пор:

import mechanize
import cookielib
from bs4 import BeautifulSoup

br = mechanize.Browser()
br.set_handle_robots(False)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1)     Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

br.open("http://as0.mta.info/mnr/fares/choosestation.cfm")

br.select_form(name="form1")
br.form.set_all_readonly(False)

origin_control = br.form.find_control("orig_stat", type="select")
origin_control_list = origin_control.items
origin_control.value = [origin_control.items[0].name]

destination_control_list = reFillList(0, origin_control_list)

destination_control = br.form.find_control("dest_stat", type="select")
destination_control.items = destination_control_list
destination_control.value = [destination_control.items[0].name]

response = br.submit()
response_text = response.read()
print response_text

Я знаю, что не дал вам код дляreFillList() метод, потому что он длинный, но предполагается, что он правильно создает список объектов mechanize.option. Python ни на что не жалуется, но при отправке я получаю html для этого предупреждения:

& quot; Информация о плате за проезд между двумя линиями недоступна в режиме онлайн. Свяжитесь с нашим Информационным центром для клиентов по номеру 511 и попросите поговорить с представителем для получения дополнительной информации. & Quot;

Я что-то здесь упускаю? Спасибо за помощь!