Pregunta simple. Quiero agregar:

Disallow */*details-print/

Básicamente, las reglas de bloqueo en forma de/foo/bar/dynamic-details-print --- foo y bar en este ejemplo también pueden ser totalmente dinámicos.

Pensé que esto sería simple, pero luego en www.robotstxt.org hay este mensaje:

Tenga en cuenta también que el globing y la expresión regular no son compatibles con las líneas User-agent o Disallow. El '*' en el campo Agente de usuario es un valor especial que significa "cualquier robot". Específicamente, no puede tener líneas como "User-agent:larva del moscardón"," No permitir: / tmp / * "o" No permitir: * .gif ".

¿Entonces no podemos hacer eso? ¿Los motores de búsqueda lo acatan? Pero entonces, hayEl archivo robots.txt de Quora.com archivo:

Disallow: /ajax/
Disallow: /*/log
Disallow: /*/rss
Disallow: /*_POST

Entonces, ¿quién tiene razón? ¿O estoy malinterpretando el texto en robotstxt.org?

¡Gracias!