Eu estou criando um script que raspa os jogos do banco de dados Team Liquid dos jogos internacionais StarCraft 2. (http://www.teamliquid.net/tlpd/sc2-international/games

No entanto, venho com um problema. Eu tenho meu script percorrendo todas as páginas, no entanto, o site Team Liquid usa algum tipo de AJAX que penso na tabela para atualizá-lo. Agora, quando uso o BeautifulSoup, não consigo obter os dados corretos.

Então, percorro estas páginas:

http: //www.teamliquid.net/tlpd/sc2-international/games#tblt-948-1-1-DES

http: //www.teamliquid.net/tlpd/sc2-international/games#tblt-948-2-1-DES

http: //www.teamliquid.net/tlpd/sc2-international/games#tblt-948-3-1-DES

http: //www.teamliquid.net/tlpd/sc2-international/games#tblt-948-4-1-DES etc ...

Quando você abre essas páginas, você vê páginas diferentes, no entanto, meu script continua recebendo a mesma primeira página todas as vezes. Eu acho que isso ocorre porque, ao abrir as outras páginas, você vê algo carregando por um pequeno período de tempo atualizando a tabela com os jogos para a página correta. Acho que o beatifulsoup é rápido e precisa aguardar o carregamento e a atualização da tabel

Então minha pergunta é:Como posso garantir que a tabela atualizada seja atualizada?

Agora uso esse código para obter o conteúdo da tabela, após o qual coloco o conteúdo em um arquivo .csv:

html = urlopen(url).read().lower()
bs = BeautifulSoup(html)
table = bs.find(lambda tag: tag.name=='table' and tag.has_key('id')
                and tag['id']=="tblt_table") 
rows = table.findAll(lambda tag: tag.name=='tr')