Я работаю над проектом класса и пытаюсь получить все данные фильма IMDB (названия, бюджеты и т. Д.) До 2016 года. Я принял код отhttps://github.com/alexwhb/IMDB-spider/blob/master/tutorial/spiders/spider.py.

Моя мысль: от меня в диапазоне (1874,2016) (с 1874 года самый ранний год, показанный наhttp://www.imdb.com/year/), перенаправьте программу на веб-сайт соответствующего года и получите данные с этого URL.

Но проблема в том, что на каждой странице каждого года показывается только 50 фильмов, поэтому после сканирования 50 фильмов я могу перейти на следующую страницу? И после ползания каждый год, как я могу перейти к следующему году? До сих пор это мой код для парсинга, но он способен сканировать только 50 фильмов за определенный год.

class tutorialSpider(scrapy.Spider):
    name = "tutorial"
    allowed_domains = ["imdb.com"]
    start_urls = ["http://www.imdb.com/search/title?year=2014,2014&title_type=feature&sort=moviemeter,asc"] 

    def parse(self, response):
            for sel in response.xpath("//*[@class='results']/tr/td[3]"):
                item = MovieItem()
                item['Title'] = sel.xpath('a/text()').extract()[0]
                item['MianPageUrl']= "http://imdb.com"+sel.xpath('a/@href').extract()[0]
                request = scrapy.Request(item['MianPageUrl'], callback=self.parseMovieDetails)
                request.meta['item'] = item
                yield request