Suchergebnisse für Anfrage "robots.txt"

1 die antwort

Suchmaschinen-Crawling-Verzeichnis blockieren

Meine Website hat eine URL (längste) Struktur wie diese http://www.example.com/xyz-pqr/abcd-efgh/123.html [http://www.example.com/xyz-pqr/abcd-efgh/123.html] Es gibt also maximal 3 Verzeichnisebenen, aber aufgrund von CMS und anderen Problemen ...

8 die antwort

Wie kann ich eine bestimmte Seite in robots.txt nicht zulassen?

Ich erstelle zwei Seiten auf meiner Website, die sehr ähnlich sind, aber unterschiedlichen Zwecken dienen. Einer ist, den Benutzern für das Hinterlassen eines Kommentars zu danken, und der andere, die Benutzer zum Abonnieren zu ermutige Ich ...

6 die antwort

Wie konfiguriere ich Nginx, um zu einer URL für robots.txt & sitemap.xml umzuleiten

Ich verwende Nginx 0.6.32 als Proxy-Front-End für Couchdb. Ich habe meine robots.txt in der Datenbank, erreichbar alshttp://www.example.com/prod/_design/myde...

TOP-Veröffentlichungen

2 die antwort

wie man alle dynamischen URLs verbietet robots.txt [closed]

wie man alle dynamischen URLs in robots.txt verbietet

1 die antwort

Python, Mechanize - Anfrage von robots.txt auch nach set_handle_robots und add_headers nicht erlaubt

Ich habe einen Webcrawler erstellt, der alle Links bis zur ersten Ebene der Seite abruft und von dort alle Links und Texte plus Imagelinks und Alt. Hier ist ...

2 die antwort

Wie gibt es keine indexspezifischen URLs?

Ich habe gesucht, wie man keine spezifischen URLs indexiert, aber ich habe keine spezifischen Informationen zu den folgenden gefunden. Durch Hinzufügen der unten <?php if(is_single(X)): ?> <meta name="robots" content="noindex,nofollow"> ...

2 die antwort

Was bedeutet das Dollarzeichen in robots.txt

Ich bin neugierig auf eine Website und möchte im @ ein paar Web-Crawls mache/s Pfad.Its robots.txt [http://mp.weixin.qq.com/robots.txt]: User-Agent: * Allow: /$ Allow: /debug/ Allow: /qa/ Allow: /wiki/ Allow: /cgi-bin/loginpage Disallow: /Meine ...

1 die antwort

Platzhalter in robots.txt

Wenn ich auf der WordPress-Website Kategorien in dieser Reihenfolge habe: -Parent --Child ---SubchildIch habe Permalinks eingestellt auf:% category% /% postname% Nehmen wir ein Beispiel. Ich erstelle einen Beitrag mit dem ...

4 die antwort

Ist es möglich, mehrere Benutzeragenten in einer Zeile aufzulisten?

Ist es in robots.txt möglich, mehrere Bots mit einer Anweisung zu belegen, ohne dies wiederholt erwähnen zu müssen?Beispiel:

2 die antwort

Wie verstecke ich das Website-Verzeichnis vor Suchmaschinen ohne Robots.txt?

Wir wissen, dass wir Suchmaschinen daran hindern können, Verzeichnisse auf unserer Website mithilfe von robots.txt zu indizieren. Dies hat natürlich den Nachteil, dass Verzeichnisse, die wir nicht finden möchten, tatsächlich für mögliche ...