Questão simples. Eu quero adicionar:

Disallow */*details-print/

Basicamente, regras de bloqueio na forma de/foo/bar/dynamic-details-print --- foo e bar neste exemplo também podem ser totalmente dinâmicos.

Eu pensei que isso seria simples, mas então em www.robotstxt.org existe esta mensagem:

Observe também que globbing e expressão regular não são suportadas nas linhas User-agent ou Disallow. O '*' no campo User-agent é um valor especial que significa "qualquer robô". Especificamente, você não pode ter linhas como "User-agent:robô"," Proibir: / tmp / * "ou" Proibir: * .gif ".

Então não podemos fazer isso? Os mecanismos de pesquisa cumprem isso? Mas então, háRobots.txt do Quora.com Arquivo:

Disallow: /ajax/
Disallow: /*/log
Disallow: /*/rss
Disallow: /*_POST

Então, quem está certo - ou estou entendendo mal o texto em robotstxt.org?

Obrigado!