Resposta Scrappy diferente da resposta do navegador

Eu estou tentando raspar uma página com scrapy:

erro de importação devido a bs4 vs BeautifulSoup

Como posso pegar o elemento por correspondência de texto em seu atributo em BeautifulSoup

Eu tenho esse codigo

Analisando HTML com BeautifulSoup

(A imagem é pequena, aqui está outro link:http://i.imgur.com/OJC0A.png)Estou tentando extrair o texto da revisão na parte inferior. Eu tentei isso:

BeautifulSoup em Python - obtendo a n-ésima tag de um tipo

Erro de sintaxe estranho no uso de beautifulsoup.find ()

Python BeautifulSoup: pesquisa de atributo / id com curinga

Eu tenho isto:

Como salvar de volta as alterações feitas em um arquivo HTML usando BeautifulSoup em Python?

Como posso ver todas as notas de um post do Tumblr do Python?

Como lidar com IncompleteRead: em python