Estou tentando desenvolver um raspador de web simples. Quero extrair texto sem o código HTML. Na verdade, alcancei esse objetivo, mas vi que, em algumas páginas em que o JavaScript é carregado, não obtive bons resultado

Por exemplo, se algum código JavaScript adiciona algum texto, não consigo vê-lo, porque quando eu chamo

response = urllib2.urlopen(request)

Recebo o texto original sem o adicionado (porque o JavaScript é executado no cliente

ntão, estou procurando algumas idéias para resolver esse problem