Was bedeutet das Dollarzeichen in robots.txt
Ich bin neugierig auf eine Website und möchte im @ ein paar Web-Crawls mache/s
Pfad.Its robots.txt:
User-Agent: *
Allow: /$
Allow: /debug/
Allow: /qa/
Allow: /wiki/
Allow: /cgi-bin/loginpage
Disallow: /
Meine Fragen sind:
Was bedeutet das Dollarzeichen in diesem Fall?
Und es ist angemessen, die URL zu crawlen/s
? in Bezug auf die robots.txt-Datei?