¿Qué significa el signo de dólar en robots.txt?
Tengo curiosidad acerca de un sitio web y quiero hacer un poco de rastreo web en el/s camino.Su robots.txt:
User-Agent: *
Allow: /$
Allow: /debug/
Allow: /qa/
Allow: /wiki/
Allow: /cgi-bin/loginpage
Disallow: /
Mis preguntas son:
¿Qué significa el signo de dólar en este caso?
¿Y es apropiado rastrear la URL?/s? con respecto al archivo robots.txt?