Resposta Scrappy diferente da resposta do navegador

Eu estou tentando raspar uma página com scrapy:

Como posso pegar o elemento por correspondência de texto em seu atributo em BeautifulSoup

Eu tenho esse codigo

erro de importação devido a bs4 vs BeautifulSoup

Analisando HTML com BeautifulSoup

(A imagem é pequena, aqui está outro link:http://i.imgur.com/OJC0A.png)Estou tentando extrair o texto da revisão na parte inferior. Eu tentei isso:

BeautifulSoup em Python - obtendo a n-ésima tag de um tipo

Erro de sintaxe estranho no uso de beautifulsoup.find ()

fazendo login no site usando solicitações

Eu tentei dois métodos completamente diferentes. Mas ainda não consigo obter os dados que estão presentes apenas após o login. Eu tentei fazer um usando solicitações, mas o xpath retorna uma solicitação de importação nula do lxml import ...

Python BeautifulSoup: pesquisa de atributo / id com curinga

Eu tenho isto:

Como salvar de volta as alterações feitas em um arquivo HTML usando BeautifulSoup em Python?

Como posso ver todas as notas de um post do Tumblr do Python?