Utilizando Scrapy con sesión de usuario autenticado (conectado)
En elScrapy docs, existe el siguiente ejemplo para ilustrar cómo usar una sesión autenticada en Scrapy:
class LoginSpider(BaseSpider):
name = 'example.com'
start_urls = ['http://www.example.com/users/login.php']
def parse(self, response):
return [FormRequest.from_response(response,
formdata={'username': 'john', 'password': 'secret'},
callback=self.after_login)]
def after_login(self, response):
# check login succeed before going on
if "authentication failed" in response.body:
self.log("Login failed", level=log.ERROR)
return
# continue scraping with authenticated session...
Lo tengo funcionando, y está bien. Peromi pregunta e: ¿Qué tienes que hacer concontinue scraping with authenticated session
, como dicen en el comentario de la última línea?