Przechwytywanie kodów statusu http za pomocą pająka do scrapy

Jestem nowy na scrapie. Piszę pająka przeznaczonego do sprawdzania długiej listy adresów URL dla kodów statusu serwera i, w stosownych przypadkach, do jakich...

Scrapy nie indeksuje kolejnych stron w kolejności

Piszę robota, aby uzyskać nazwy przedmiotów ze strony internetowej. Witryna ma 25 elementów na stronie i wiele stron (200 dla niektórych typów elementów).Oto...

jak przetwarzać wszelkiego rodzaju wyjątki w projekcie scrapy, w errback i callback?

Złomowanie - Przeszukiwanie wielu stron na element

Próbuję zaindeksować kilka dodatkowych stron na element, aby pobrać informacje o lokalizacji.Na końcu elementu przed zwrotem sprawdzam, czy musimy zaindeksow...

jak wdrożyć zagnieżdżony przedmiot w zadrapaniu?

Nie można przejść przez formę ze zdrapką

Jestem nowy w używaniu scrapy i próbuję zdobyć informacje z witryny nieruchomości. Witryna ma stronę główną z formularzem wyszukiwania (metoda GET). Próbuję ...

Scrapy FormRequest wysyła JSON

Próbuję utworzyć formularz FormRequest, który może wysyłać zawartość typu: application / json.Oto, co próbuję:

Rejestrowanie całkowitego czasu potrzebnego do prowadzenia pająka w zadrapaniu

Nie można zdefiniować niestandardowego oprogramowania pośredniczącego pobierania w programie Scrapy

Wysyłanie wiadomości e-mail po zeskrobaniu na złom

kod pipeline.py