Beschleunigen Sie den Bahnabstreifer

Gibt es eine Methode zur Verwendung einer separaten Scrapy-Pipeline für jede Spinne?

Ich möchte Webseiten unter einer anderen Domain abrufen, dh ich muss unter dem Befehl "scrapy crawl myspider" eine andere Spinne verwenden. Ich mus...

mehrere seiten mit scrapy schaben

Ich versuche, mit Scrapy eine Website mit mehreren Informationsseiten zu durchsuchen. Mein Code ist: from scrapy.spider import BaseSpider from scrapy.selector import Selector from tcgplayer1.items import Tcgplayer1Item class ...

CSV-Datei aus Scrapy exportieren (nicht über die Befehlszeile)

Ich habe erfolgreich versucht, meine Artikel über die Befehlszeile in eine CSV-Datei zu exportieren: scrapy crawl spiderName -o filename.csvMeine Frage ist: Was ist die einfachste Lösung, um dasselbe im Code zu tun? Ich brauche dies, da ich den ...

Scrapy: Links und Text extrahieren

Ich bin neu in Scrapy und versuche, die Webseite der Ikea-Website zu durchsuchen. Die Basisseite mit der Liste der Standorte als gegebenHie [http://www.ikea.com/]. My items.py -Datei ist unten angegeben: import scrapy class ...

Pass-Argument für Scrapy-Spider in einem Python-Skript

Ich kann Crawl in einem Python-Skript mit dem folgenden Rezept aus dem Wiki ausführen: from twisted.internet import reactor from scrapy.crawler import Crawler from scrapy import log, signals from testspiders.spiders.followall ...

Mehrfache Vererbung in Kratzspinnen

Ist es möglich, einen Spider zu erstellen, der die Funktionalität von zwei Basisspidern übernimmt, nämlich SitemapSpider und CrawlSpider? Ich habe versucht, Daten von verschiedenen Websites zu entfernen, und festgestellt, dass nicht alle ...

Wie vermeide ich einen twisted.internet.error.ConnectionLost-Fehler bei der Verwendung von Scrapy?

Ich schabe ein paar Seiten mitscrapy [http://scrapy.org/] und erhalte den folgenden Fehler: twisted.internet.error.ConnectionLost Meine Befehlszeilenausgabe: 2015-05-04 18:40:32+0800 [cnproxy] INFO: Spider opened 2015-05-04 ...

Scrapy: Antworten mit bestimmten HTTP-Servercodes abfangen

Wir haben ein Standardprojekt für Scrapy (Scrapy 0.24). Ich möchte bestimmte HTTP-Antwortcodes abfangen, z. B. 200, 500, 502, 503, 504 usw. Sowas in der Art class Spider(...): def parse(...): processes HTTP 200 def parse_500(...): processes ...

Multiprocessing von Kratzspinnen in parallelen Prozessen

Es gibt mehrere ähnliche Fragen, die ich bereits zu Stack Overflow gelesen habe. Leider habe ich alle Links verloren, da mein Browserverlauf unerwartet gelöscht wurde. Alle oben genannten Fragen konnten mir nicht helfen. Entweder haben einige ...