ой вопрос Я хочу добавить:

Disallow */*details-print/

В основном блокирующие правила в виде/foo/bar/dynamic-details-print --- foo и bar в этом примере также могут быть полностью динамическими.

Я думал, что это будет просто, но тогда на www.robotstxt.org есть это сообщение:

Также обратите внимание, что глобализация и регулярные выражения не поддерживаются ни в строках User-agent, ни в Disallow. '*' В поле User-agent является специальным значением, означающим «любой робот». В частности, вы не можете иметь строки вроде "User-agent:ботMsgstr "," Disallow: / tmp / * "или" Disallow: * .gif ".

Так мы не можем этого сделать? Соблюдают ли поисковые системы это? Но тогда естьRobots.txt Quora.com файл:

Disallow: /ajax/
Disallow: /*/log
Disallow: /*/rss
Disallow: /*_POST

Итак, кто прав - или я неправильно понимаю текст на robotstxt.org?

Спасибо!