Ist es möglich, eine JavaScript-Engine mit Ruby und Nokogiri zu verbinden?

Ich schreibe eine Anwendung, um einige Websites zu crawlen und Daten von ihnen zu entfernen. Ich benutze Ruby, Curl und Nokogiri, um dies zu tun. In den meis...

Wie ist Goutte anzuwenden?

Problem:Kann den Goutte-Webschaber nicht vollständig verstehen.Anfordern:Kann mir jemand helfen, den Web-Scraper Goutte besser zu verstehen oder Code bereitz...

Lucene-Crawler (es muss ein Lucene-Index erstellt werden)

Scrapy CrawlSpider crawlt nicht die erste Zielseite

Ich bin neu in Scrapy und arbeite an einer Scraping-Übung und verwende den CrawlSpider. Obwohl das Scrapy-Framework sehr gut funktioniert und den relevanten ...

Python-Paket für Multi-Threaded-Spider mit Proxy-Unterstützung?

Kennt jemand das effizienteste Paket für den schnellen Multithread-Download von URLs, die über http-Proxys ausgeführt werden können, anstatt nur urllib zu ve...

So begrenzen Sie die Anzahl der verfolgten Seiten pro Site in Python Scrapy

Ich versuche, eine Spinne zu bauen, mit der Textinformationen von vielen Websites effizient gelöscht werden können. Da ich ein Python-Benutzer bin, wurde ich...

scrapy crawl [spinnenname] fehler

Hallo Leute, ich baue ein Web-Scraping-Projekt mit Scrapy Framework und Python. Im Spinnenordner meines Projekts habe ich zwei Spinnen, die spider1 und spide...

Entspricht die User-Agent-Zeile in robots.txt genau einer Übereinstimmung oder einer Teilzeichenfolge?

Abrufen von Inhalten (geladen über AJAX-Aufruf) einer Webseite

Ich bin ein Anfänger zum Krabbeln. Ich muss die Posts und Kommentare von einem Link abrufen. Ich möchte diesen Prozess automatisieren. Ich dachte darüber nac...

Element einer bestimmten Website konnte nicht mit Scrapy Spider gecrawlt werden

Ich möchte Webseitenadressen von einigen Jobs erhalten, also schreibe ich eine Scrapy-Spinne, mit der ich den gesamten Wert erhalten möchtexpath://article/dl/dd/h2/a[@class="job-title"]/@href, aber wenn ich die spinne mit befehl ausführe: scrapy ...