Мне интересно узнать о веб-сайте, и я хочу сделать несколько ползаний на веб-сайте/s дорожка.Его robots.txt:

User-Agent: *
Allow: /$
Allow: /debug/
Allow: /qa/
Allow: /wiki/
Allow: /cgi-bin/loginpage
Disallow: /

Мои вопросы:

Что означает знак доллара в этом случае?

И уместно ли сканировать URL/s? по отношению к файлу robots.txt?