Suchergebnisse für Anfrage "robots.txt"
Wie füge ich eine Route zur dynamischen robots.txt in ASP.NET MVC hinzu?
Ich habe eine robots.txt, die nicht statisch ist, sondern dynamisch generiert wird. Mein Problem ist das Erstellen einer Route von root / robots.txt zu meine...
django dient robots.txt effizient
Hier ist meine aktuelle Methode zum Servieren von robots.txt
Kann das Verbieten der gesamten Website auf robots.txt nach dem Entfernen Konsequenzen haben?
Ich habe eine Website veröffentlicht und musste aufgrund eines Missverständnisses, das nicht von mir abhängt, vor der Indizierung alle Seiten blockieren. Einige dieser Seiten wurden bereits in sozialen Netzwerken verlinkt. Um eine schlechte ...
Wie verstecke ich das Website-Verzeichnis vor Suchmaschinen ohne Robots.txt?
Wir wissen, dass wir Suchmaschinen daran hindern können, Verzeichnisse auf unserer Website mithilfe von robots.txt zu indizieren. Dies hat natürlich den Nachteil, dass Verzeichnisse, die wir nicht finden möchten, tatsächlich für mögliche ...
Sollte ich Meta-Robots entfernen (Index, folgen), wenn ich eine robots.txt habe?
Ich bin ein bisschen verwirrt, ob ich das Robots-Meta-Tag entfernen soll, wenn Suchmaschinen meinen robots.txt-Regeln folgen sollen. Wenn das Robots-Meta-Tag (index, follow) auf der Seite vorhanden ist, ignorieren Suchmaschinen dann meine ...
Wie gibt es keine indexspezifischen URLs?
Ich habe gesucht, wie man keine spezifischen URLs indexiert, aber ich habe keine spezifischen Informationen zu den folgenden gefunden. Durch Hinzufügen der unten <?php if(is_single(X)): ?> <meta name="robots" content="noindex,nofollow"> ...
Was bedeutet das Dollarzeichen in robots.txt
Ich bin neugierig auf eine Website und möchte im @ ein paar Web-Crawls mache/s Pfad.Its robots.txt [http://mp.weixin.qq.com/robots.txt]: User-Agent: * Allow: /$ Allow: /debug/ Allow: /qa/ Allow: /wiki/ Allow: /cgi-bin/loginpage Disallow: /Meine ...
Robots.txt-Datei in MVC.NET 4
Ich habe einen Artikel über das Ignorieren der Roboter von einer URL in meinem ASP MVC.NET-Projekt gelesen. In seinem Artikel sagte der Autor, dass wir in einigen Off-Controllern wie diesem eine Aktion hinzufügen sollten. In diesem Beispiel fügt ...
Ich kann in Spring-MVC nicht auf Robots.txt zugreifen
Ich versuche Zugriff auf @ zu gewährrobots.txt in Spring-MVC. Um den Code zu testen, habe ichrobots.txt imWebContent,Root undWEB-INF aber ich kann auf keinen von ihnen zugreifen. Ich habe bereits Antworten auf diese Fragen ...