Kiedy przeszukiwacz odczytuje wiersz User-Agent pliku robots.txt, czy próbuje dopasować go dokładnie do własnego agenta użytkownika lub czy próbuje dopasować go jako podciąg swojego agenta użytkownika?

Wszystko, co przeczytałem, nie odpowiada wprost na to pytanie. Wedługkolejny wątek StackOverflow to jest dokładne dopasowanie.

JednakżeSzkic RFC każe mi wierzyć, że jest to dopasowanie podłańcuchowe. Na przykład,User-Agent: Google pasuje do „Googlebot” i „Googlebot-News”. Oto odpowiedni cytat z RFC:

Robot musi wykonać pierwszy zapis w/robots.txt zawiera linię User-Agent, której wartość zawiera znacznik nazwy robota jako podciąg.

Dodatkowo w sekcji „Kolejność pierwszeństwa dla agentów użytkownika” w sekcjiDokumentacja Googlebota wyjaśnia, że ​​agent użytkownika dla Google Images ”Googlebot-Image/1.0„pasuje doUser-Agent: googlebot.

Byłbym wdzięczny za każdą jasność tutaj, a odpowiedź może być bardziej skomplikowana niż moje pytanie. Na przykład moduł robota Eugene'a Kalinina dla węzła wspomina o podziale agenta użytkownika, aby uzyskać „token nazwy”linia 29 i dopasowywanie do tego. Jeśli to prawda, toAgent użytkownika Googlebota "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)„nie pasujeUser-Agent: Googlebot.