Scrapy - Реактор не перезапускается

с:

Scrapy + splash: невозможно выбрать элемент

Вместо этого используйте формданные для входа в систему, используйте всплеск и обнаруживайте элементы страницы по одному

Scrapy SgmlLinkExtractor вопрос

Я пытаюсь заставить работать SgmlLinkExtractor. Это подпись: SgmlLinkExtractor(allow=(), deny=(), allow_domains=(), deny_domains=(), restrict_xpaths(), tags=('a', 'area'), attrs=('href'), canonicalize=True, unique=True, process_value=None)Я ...

Круто, никогда не думал об этом

несколько URL с

У @maestromusica есть простое условие if-else для определения домена и использование различной логики для каждого сайта

могу отправить очищенные URL от одного паука на

 запустить этих пауков

ользую пауков Scrapy внутри Сельдерея, и я получаю такие ошибки случайно

 получить уведомление от AWS в CloudWatch:

вернул проект scrapy, который сканирует каждый раз, когда приходит запрос лямбда-API.Он отлично работает для первого вызова API, но позже он завершается неуд...

Хотя у него нет предыдущей ошибки, у него есть новая ошибка, которую я не знал, как исправить:

дую этому руководству для очистки данных из Instagram:http://www.spataru.at/scraping-instagram-scrapy/ но я получаю эту ошибку:

к тому времени, когда CrawlSpider достигает второго URL-адреса, правила больше не являются правильными, поскольку они основаны на первом URL-адресе.

у Scrapy Scrapper, который использует CrawlSpider для сканирования сайтов, просмотра их внутренних ссылок и очистки содержимого любых внешних ссылок (ссылок ...