A sequência do agente do usuário precisa ser exatamente como aparece nos logs do meu servidor?
Ao usar um arquivo Robots.txt, a sequência do agente do usuário precisa ser exatamente como aparece nos logs do meu servidor?
Por exemplo, ao tentar corresponder ao GoogleBot, posso apenas usargooglebot
?
Além disso, uma correspondência parcial funcionará? Por exemplo, apenas usandoGoogle
?