Когда сканер читает строку User-Agent файла robots.txt, он пытается точно сопоставить ее со своим собственным User-Agent или пытается сопоставить ее как подстроку своего User-Agent?

Все, что я прочитал, не дает четкого ответа на этот вопрос. В соответствии сдругой поток StackOverflow это точное совпадение.

Тем не менееПроект RFC заставляет меня поверить, что это совпадение подстроки. Например,User-Agent: Google будет соответствоватьGooglebot» а также "Googlebot-News», Вот соответствующая цитата из RFC:

Робот должен подчиняться первой записи в/robots.txt которая содержит строку User-Agent, значение которой содержит маркер имени робота в качестве подстроки.

Кроме того, вПорядок приоритета для пользовательских агентов " разделGooglebot»документация с это объясняет, что пользовательский агент для Google Images ""Googlebot-Image/1.0 соответствует.User-Agent: googlebot

Я был бы признателен за любую ясность здесь, и ответ может быть более сложным, чем мой вопрос. Например, Евгений КалининМодуль роботов для узлов упоминает разделение User-Agent для получения "имя токен настрока 29 и соответствие против этого. Если это правда, тоGooglebot»Пользователь-агент «»Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) не будет соответствовать.User-Agent: Googlebot