У @maestromusica есть простое условие if-else для определения домена и использование различной логики для каждого сайта

могу отправить очищенные URL от одного паука наstart_urls другого паука?

В частности, я хочу запустить одного паука, который получает список URL-адресов со страницы XML. После того, как URL были получены, я хочу, чтобы они использовались другим пауком для очистки.

from scrapy.spiders import SitemapSpider

class Daily(SitemapSpider):
    name = 'daily'
    sitemap_urls = ['http://example.com/sitemap.xml']

    def parse(self, response):
        print response.url

        # How do I send these URL's to another spider instead?

        yield {
            'url': response.url
        }

Ответы на вопрос(3)

Ваш ответ на вопрос