Ich bin neu in Scrapy und arbeite an einer Scraping-Übung und verwende den CrawlSpider. Obwohl das Scrapy-Framework sehr gut funktioniert und den relevanten Links folgt, kann ich den CrawlSpider nicht dazu bringen, den allerersten Link (die Startseite / Landing Page) zu entfernen. Stattdessen werden die durch die Regel festgelegten Links direkt gelöscht, die Zielseite, auf der sich die Links befinden, jedoch nicht gelöscht. Ich weiß nicht, wie ich das beheben soll, da es nicht empfohlen wird, die Analysemethode für einen CrawlSpider zu überschreiben. Das Ändern von follow = True / False liefert ebenfalls keine guten Ergebnisse. Hier ist der Codeausschnitt:

class DownloadSpider(CrawlSpider):
    name = 'downloader'
    allowed_domains = ['bnt-chemicals.de']
    start_urls = [
        "http://www.bnt-chemicals.de"        
        ]
    rules = (   
        Rule(SgmlLinkExtractor(aloow='prod'), callback='parse_item', follow=True),
        )
    fname = 1

    def parse_item(self, response):
        open(str(self.fname)+ '.txt', 'a').write(response.url)
        open(str(self.fname)+ '.txt', 'a').write(','+ str(response.meta['depth']))
        open(str(self.fname)+ '.txt', 'a').write('\n')
        open(str(self.fname)+ '.txt', 'a').write(response.body)
        open(str(self.fname)+ '.txt', 'a').write('\n')
        self.fname = self.fname + 1