Polecenie zarządzania niestandardowego Django z uruchomieniem Scrapy: Jak włączyć opcje Scrapy?

Chcę móc uruchomićScrapy indeksowania stron internetowych z Django. Samo zadrapanie zapewnia tylko narzędzie linii poleceń

Konstruowanie wyrażenia regularnego dla adresu URL w liście start_urls w pytonie ramowej scrapy

Jestem bardzo nowa w scrapy, a także wcześniej nie użyłem wyrażeń regularnychOto moje

Łączenie bazy url z wynikowym hrefem w zadrapaniach

poniżej jest mój kod pająka,

Uruchom wiele pająków do zeskrobywania na raz za pomocą scrapydu

używamzłomowanie dla projektu, w którym chcę zeskrobać wiele witryn - być może setki - i muszę napisać konkretnego pająka dla każdej strony. Mogę zaplanowaćj...

jak przetwarzać wszelkiego rodzaju wyjątki w projekcie scrapy, w errback i callback?

jak wdrożyć zagnieżdżony przedmiot w zadrapaniu?

Nie można przejść przez formę ze zdrapką

Jestem nowy w używaniu scrapy i próbuję zdobyć informacje z witryny nieruchomości. Witryna ma stronę główną z formularzem wyszukiwania (metoda GET). Próbuję ...

Scrapy FormRequest wysyła JSON

Próbuję utworzyć formularz FormRequest, który może wysyłać zawartość typu: application / json.Oto, co próbuję:

Wysyłanie wiadomości e-mail po zeskrobaniu na złom

kod pipeline.py

Uruchamianie pająków Scrapy w zadaniu selerowym