De acuerdo aesta página

el globo y la expresión regular no son compatibles con el agente de usuario ni con las líneas no permitidas

Sin embargo, me di cuenta de que lastackoverflow robots.txt incluye caracteres como * y? en las URLs. ¿Son estos apoyados o no?

Además, ¿hay alguna diferencia si una URL incluye una barra diagonal final o son estas dos equivalentes?

Disallow: /privacy
Disallow: /privacy/