Websites, die besonders schwierig zu crawlen und zu kratzen sind? [geschlossen]

Entspricht die User-Agent-Zeile in robots.txt genau einer Übereinstimmung oder einer Teilzeichenfolge?

scrapy crawl [spinnenname] fehler

Hallo Leute, ich baue ein Web-Scraping-Projekt mit Scrapy Framework und Python. Im Spinnenordner meines Projekts habe ich zwei Spinnen, die spider1 und spide...

.htaccess für SEO-Bots, die Anwendungen mit nur einer Seite ohne Hashbangs crawlen

Verwendung einer

Ist es möglich, dass Scrapy Klartext direkt aus HTML-Rohdaten abruft, anstatt xPath-Selektoren zu verwenden?

Beispielsweise scrapy shell http://scrapy.org/ content = hxs.select('//*[@id="content"]').extract()[0] print content dann habe ich folgende rohe HTML-Codes: <div id="content"> <h2>Welcome to Scrapy</h2> <h3>What is Scrapy?</h3> <p>Scrapy is a ...

Schließen Sie Bots und Spinnen von einem View-Counter in PHP aus

Ich habe einen ziemlich einfachen Werbemanager für eine Website in PHP erstellt.Ich sage einfach, weil es nicht so komplex ist wie Google- oder Facebook-Anze...

Daten-Scraping mit Scrapy [geschlossen]

So begrenzen Sie die Anzahl der verfolgten Seiten pro Site in Python Scrapy

Ich versuche, eine Spinne zu bauen, mit der Textinformationen von vielen Websites effizient gelöscht werden können. Da ich ein Python-Benutzer bin, wurde ich...

Warum verwendet Google keinen Browser ohne Kopf, um clientseitige Inhalte zu crawlen? [geschlossen]

Mir sind die Schritte bekannt, die zum Crawlen einer clientseitigen Website erforderlich sind:https://developers.google.com/webmasters/ajax-crawling/docs/get...

Scrapy Spider Unterschied zwischen gecrawlten Seiten und Scraped Items

Ich schreibe einen Scrapy CrawlSpider, der eine Liste von ADs auf der ersten Seite liest, einige Informationen wie Thumbs der Listings und AD-URLs aufnimmt u...