Как написать код Python Scrapy для извлечения присутствия URL в карте сайта сайта
Я пытаюсь использовать этот код, чтобы получить список URL-адресов в карте сайта. когда я запускаю это, я не вижу результатов на экране. Может кто-нибудь сказать мне, в чем проблема, или предложить мне лучший пример с хорошим примером. заранее спасибо
class MySpider(SitemapSpider):
name = "xyz"
allowed_domains = ["xyz.nl"]
sitemap_urls = ["http://www.xyz.nl/sitemap.xml"]
def parse(self, response):
print response.url
return Request(response.url, callback=self.parse_sitemap_url)
def parse_sitemap_url(self, response):
# do stuff with your sitemap links