Estou tendo problemas para fazer login com scrapy, e a maior parte do que posso encontrar está desatualizada.

Eu arrumeiLOG_FILE="log.txt" nosettings.py arquivo e da documentação, isso deve funcionar:

Scrapy fornece um criador de logs em cada instância do Spider, que pode ser acessado e usado assim:

import scrapy

class MySpider(scrapy.Spider):

    name = 'myspider'
    start_urls = ['http://scrapinghub.com']

    def parse(self, response):
        self.logger.info('Parse function called on %s', response.url)

Mas quando eu faço:

class MySpider(CrawlSpider):
    #other code
    def parse_page(self,response):
        self.logger.info("foobar")

Eu não recebo nada. Se eu definir

logger = logging.basicConfig(filename="log.txt",level=logging.INFO)

Na parte superior do meu arquivo, após minhas importações, ele cria um arquivo de log e a saída padrão é registrada muito bem, mas

class MySpider(CrawlSpider):
    #other code
    def parse_page(self,response):
        logger.info("foobar")

Falha ao fazer uma aparição. Eu também tentei colocá-lo na classe__init__, assim sendo:

def __init__(self, *a, **kw):
    super(FanfictionSpider, self).__init__(*a, **kw)
    logging.basicConfig(filename="log.txt",level=logging.INFO)

Mais uma vez, não recebo saída para o arquivo, apenas para o console efoobar não aparece. Alguém pode me indicar como fazer o login Scrapy corretamente?