Suchmaschinen-Crawling-Verzeichnis blockieren
Meine Website hat eine URL (längste) Struktur wie diese
http://www.example.com/xyz-pqr/abcd-efgh/123.html
Es gibt also maximal 3 Verzeichnisebenen, aber aufgrund von CMS und anderen Problemen wird meine Website in der Suchmaschine für mehr als 3 Verzeichnisebenen-URLs indiziert, wie z.
http://www.example.com/xyz-pqr/abcd-efgh/xyz-pqr/abcd-efgh/123.html
http://www.example.com/xyz-pqr/abcd-efgh/xyz-pqr/abcd-efgh/abcd-efgh/123.html
Ich möchte Code in robots.txt schreiben, damit die Suchmaschine niemals mehr als 3 Verzeichnisebenen crawlt. Wie mache ich das? Danke im Voraus...