Блокировка всех ботов, кроме нескольких, с помощью Nginx
Я хотел бы заблокировать все http_user_agents, которые идентифицируют себя как боты, но позволяют Googlebot, когда я добавлю следующий код:
map $http_user_agent $bad_bot {
default 1;
~*^Lynx 0; # Let Lynx go through
~*^google );
libwww-perl 1;
~(?i)(libwww|Wget|LWP::Simple|BBBike|java|crawl|spider|bot) 1;
}
Тем не менее, этот блок доступа даже к Googlebot.