De acordo comesta página

globbing e expressão regular não são suportadas nas linhas User-agent ou Disallow

No entanto, notei que ostackoverflow robots.txt inclui caracteres como * e? nos URLs. São estes suportados ou não?

Além disso, faz alguma diferença se um URL inclui uma barra final ou são esses dois equivalentes?

Disallow: /privacy
Disallow: /privacy/