format URL robots.txt
Wedługta strona
globbing i wyrażenie regularne nie są obsługiwane ani w linii User-agent, ani Disallow
Zauważyłem jednak, żestackoverflow robots.txt zawiera znaki takie jak * i? w adresach URL. Czy są one obsługiwane, czy nie?
Czy nie ma znaczenia, czy adres URL zawiera ukośnik końcowy, czy te dwa są równoważne?
Disallow: /privacy
Disallow: /privacy/