Мне интересно, как бы я пошел в поисках поисковых роботов? Причина, по которой я спрашиваю, заключается в том, что я хочу подавить определенные вызовы JavaScript, если агент пользователя является ботом.

Я нашел пример того, как обнаружить определенный браузер, но не могу найти примеры того, как обнаружить поисковый сканер:

/MSIE (\d+\.\d+);/.test(navigator.userAgent); //test for MSIE x.x

Пример поисковых роботов, которые я хочу заблокировать:

Google 
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 
Googlebot/2.1 (+http://www.googlebot.com/bot.html) 
Googlebot/2.1 (+http://www.google.com/bot.html) 

Baidu 
Baiduspider+(+http://www.baidu.com/search/spider_jp.html) 
Baiduspider+(+http://www.baidu.com/search/spider.htm) 
BaiDuSpider