Suchergebnisse für Anfrage "scrapy"
Scrapy: Antworten mit bestimmten HTTP-Servercodes abfangen
Wir haben ein Standardprojekt für Scrapy (Scrapy 0.24). Ich möchte bestimmte HTTP-Antwortcodes abfangen, z. B. 200, 500, 502, 503, 504 usw. Sowas in der Art class Spider(...): def parse(...): processes HTTP 200 def parse_500(...): processes ...
Running Scrapy auf PyPy
Ist es möglich, @ auszuführScrapy aufPyPy? Ich habe die Dokumentation und das Github-Projekt durchgesehen, aber der einzige Ort, an demPyPy wird erwähnt, dass auf @ einige Komponententests ausgeführt wurdePyPy Vor 2 Jahren, siehePyPy Unterstützun ...
Multiprocessing von Kratzspinnen in parallelen Prozessen
Es gibt mehrere ähnliche Fragen, die ich bereits zu Stack Overflow gelesen habe. Leider habe ich alle Links verloren, da mein Browserverlauf unerwartet gelöscht wurde. Alle oben genannten Fragen konnten mir nicht helfen. Entweder haben einige ...
Scrapy gibt URLError aus: <Zeitüberschreitung beim Öffnen der URL>
So habe ich ein Scrapy-Programm, das ich versuche, in Gang zu bringen, aber ich kann meinen Code nicht ausführen lassen. Es wird immer der folgende Fehler angezeigt. Ich kann die Site immer noch mit dem @ besuchescrapy shell Befehl, damit ich ...
Scrapy-Ansicht gibt eine leere Seite zurück
Ich bin neu bei Scrapy und ich habe gerade versucht zu kratzenhttp: //www.diseasesdatabase.com [http://www.diseasesdatabase.com/] Wenn ich @ eingescrapy view http://www.diseasesdatabase.com/ zeigt eine leere Seite an, aber wenn ich die Seite ...
Wie kann ich Fehler mit Scrapy abfangen, damit ich etwas tun kann, wenn ein Benutzer-Timeout-Fehler auftritt?
ERROR: Error downloading <GET URL_HERE>: User timeout caused connection failure. Ich erhalte dieses Problem gelegentlich, wenn ich meinen Schaber benutze. Gibt es eine Möglichkeit, dieses Problem zu beheben und eine Funktion auszuführen, wenn ...
Scrapy Crawlen nach dem Login starten
Haftungsausschluss: Die Website, die ich crawle, ist ein Unternehmens-Intranet, und ich habe die URL ein wenig geändert, um den Datenschutz des Unternehmens zu gewährleisten. Ich konnte mich bei der Site anmelden, konnte die Site jedoch nicht ...
“OSError: [Errno 1] Operation not allowed” bei der Installation von Scrapy unter OSX 10.11 (El Capitan) (System Integrity Protection)
Ich versuche, das Scrapy Python-Framework in OSX 10.11 (El Capitan) über pip zu installieren. Das Installationsskript lädt die erforderlichen Module herunter und gibt zu einem bestimmten Zeitpunkt den folgenden Fehler zurück: OSError: [Errno 1] ...
Fehler beim Starten eines neuen Scrapy-Projekts
Ich habe Scrapy mit Ubuntu-Paketen installiert, die auf der Scrapy-Website bereitgestellt werden. Aber beim Starten eines Scrapy-Projekts scrapy startproject test Ich erhalte die Fehlermeldung als. Traceback (most recent call last): File ...
Fehlercode 1 Installieren von Scrapy
Ich versuche, das Scrapy-Modul für Python zu installieren. Ich benutze den Befehl: pip install ScrapyAber ich erhalte den folgenden ...