заблокировать поисковую систему
У моего сайта есть структура URL (самая длинная), как эта
http://www.example.com/xyz-pqr/abcd-efgh/123.html
Таким образом, существует максимум 3 уровня каталогов, но из-за CMS и других проблем мой сайт индексируется в поисковой системе более чем на 3 уровня каталогов, например,
http://www.example.com/xyz-pqr/abcd-efgh/xyz-pqr/abcd-efgh/123.html
http://www.example.com/xyz-pqr/abcd-efgh/xyz-pqr/abcd-efgh/abcd-efgh/123.html
Я хочу написать код в robots.txt, чтобы поисковая система никогда не сканировала более 3 уровней каталогов. Как мне это сделать? Заранее спасибо...