O que o cifrão significa no robots.txt
Estou curioso sobre um site e quero fazer algum rastreamento na Web no/s
caminho.O seu robots.txt:
User-Agent: *
Allow: /$
Allow: /debug/
Allow: /qa/
Allow: /wiki/
Allow: /cgi-bin/loginpage
Disallow: /
Minhas perguntas são:
O que o cifrão significa neste caso?
E é apropriado rastrear o URL/s
? em relação ao arquivo robots.txt?