Eu estou tentando usar o mechanize para pegar os preços da ferrovia metro-norte de Nova York a partir deste site:
http://as0.mta.info/mnr/fares/choosestation.cfm

O problema é que quando você seleciona a primeira opção, o site usa o javascript para preencher sua lista de possíveis destinos. Eu escrevi código equivalente em python, mas parece que não consigo fazer tudo funcionar. Aqui está o que eu tenho até agora:

import mechanize
import cookielib
from bs4 import BeautifulSoup

br = mechanize.Browser()
br.set_handle_robots(False)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1)     Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

br.open("http://as0.mta.info/mnr/fares/choosestation.cfm")

br.select_form(name="form1")
br.form.set_all_readonly(False)

origin_control = br.form.find_control("orig_stat", type="select")
origin_control_list = origin_control.items
origin_control.value = [origin_control.items[0].name]

destination_control_list = reFillList(0, origin_control_list)

destination_control = br.form.find_control("dest_stat", type="select")
destination_control.items = destination_control_list
destination_control.value = [destination_control.items[0].name]

response = br.submit()
response_text = response.read()
print response_text

Eu sei que não te dei código para oreFillList() método, porque é longo, mas suponha que ele crie corretamente uma lista de objetos mechanize.option. O Python não reclama de nada sobre mim, mas ao enviar eu recebo o html desse alerta:

"Informações sobre tarifas para viagens entre duas linhas não estão disponíveis on-line. Entre em contato com nosso Centro de Informações ao Cliente no número 511 e peça para falar com um representante para obter mais informações."

Estou faltando alguma coisa aqui? Obrigado por toda a ajuda!