Suchergebnisse für Anfrage "scrapy"
Verwendung von PyCharm zum Debuggen von Scrapy-Projekten
Ich arbeite an Scrapy 0.20 mit Python 2.7. Ich fand, dass PyCharm einen guten Python-Debugger hat. Ich möchte meine Scrapy-Spinnen damit testen. Weiß jemand, wie das geht, bitte? Was ich probiert habeEigentlich habe ich versucht, die Spinne als ...
Führe eine Kratzspinne in einer Sellerie-Aufgabe aus
Das funktioniert nicht mehr [https://stackoverflow.com/a/11657239/560659], scrapys API hat sich geändert. Jetzt bietet die Dokumentation einen Weg zu "Führen Sie Scrapy über ein ...
Scrapy CrawlSpider folgt nicht den Links auf einer bestimmten Seite
Ich habe eine Spinne erstellt, um ein Forum zu crawlen, für das ein Login erforderlich ist. Ich starte es auf der Anmeldeseite. Das Problem tritt bei der Seite auf, zu der ich den Spider weiterleitung, nachdem die Anmeldung erfolgreich war. Wenn ...
Windows Scrapyd-Deploy wird nicht erkannt
Ich habe das scrapyd so installiert pip install scrapydIch möchte scrapyd-deploy verwenden wenn ich scrapyd schreibe Ich habe diese Ausnahme in cmd: 'scrapyd' wird nicht als interner oder externer Befehl, ausführbares Programm oder ...
Ich versuche, die Ergebnisse von mehr als einer Spinne in separaten Tabellen in MySQL zu speichern
Hier ist meine pipelines.py. Ich habe zwei Spinnen, eine bristol.py und eine bath.py. Wenn ich 'scrapy crawl bristol' starte, werden die Ergebnisse automatisch zu meiner MySQL-Datenbank mit dem Namen 'Bristol' hinzugefügt. Ich möchte 'srapy crawl ...
Scrapy beenden, wenn eine Bedingung erfüllt ist
Ich habe einen Scraper mit Scrapy in Python geschrieben. Es enthält 100 start_urls. Ich möchte den Schabevorgang abbrechen, sobald eine Bedingung erfüllt ist. dh das Beenden des Scrapens eines bestimmten Div wird gefunden. Mit Beenden meine ich, ...
mehrere seiten mit scrapy schaben
Ich versuche, mit Scrapy eine Website mit mehreren Informationsseiten zu durchsuchen. Mein Code ist: from scrapy.spider import BaseSpider from scrapy.selector import Selector from tcgplayer1.items import Tcgplayer1Item class ...
Rückgabeliste des Scrapy Item Loader nicht ein einziger Wert
Ich benutze Scrapy 0.20. Ich möchte den Item Loader verwenden Das ist mein Code: l = XPathItemLoader(item=MyItemClass(), response=response) l.add_value('url', response.url) l.add_xpath('title',"my xpath") l.add_xpath('developer', "my xpath") ...
scrapy spider sendet das Signal spider_close, bevor es geschlossen wird
Ich habe eine Spinne, die eine Datei als Parameter nimmt, diese Datei enthält die xpaths. Die Spinne parst die Datei und holt die xpaths und fängt an zu crawlen. Alles funktioniert gut Nun, ich möchte diese Spinne viele Male laufen lassen. ...
Durchforsten Sie mehrere Domains mit Scrapy ohne Kreuzung
Ich habe einen CrawlSpider eingerichtet, der alle ausgehenden Links zusammenfasst (Crawlen vonstart_urls nur eine bestimmte Tiefe über z.B.DEPTH_LIMIT = 2). class LinkNetworkSpider(CrawlSpider): name = "network" allowed_domains ...