У @maestromusica есть простое условие if-else для определения домена и использование различной логики для каждого сайта
могу отправить очищенные URL от одного паука наstart_urls
другого паука?
В частности, я хочу запустить одного паука, который получает список URL-адресов со страницы XML. После того, как URL были получены, я хочу, чтобы они использовались другим пауком для очистки.
from scrapy.spiders import SitemapSpider
class Daily(SitemapSpider):
name = 'daily'
sitemap_urls = ['http://example.com/sitemap.xml']
def parse(self, response):
print response.url
# How do I send these URL's to another spider instead?
yield {
'url': response.url
}