Google robots.txt тестер
спользовании файла Robots.txt должна ли строка пользовательского агента быть в точности такой, как она отображается в журналах моего сервера?
Например, при попытке сопоставить GoogleBot, я могу просто использоватьgooglebot
?
Также будет ли работать частичное совпадение? Например, просто используяGoogle
?