como permitir rastreadores da Web conhecidos e bloquear spammers e robôs nocivos ao rastrear o site asp.net

Como posso configurar meu site para permitir rastreamento de robôs conhecidos como google, bing, yahoo, alexa etc. e impedir outros spammers nocivos, robôs

devo bloquear um determinado IP? por favor, discuta quaisquer prós, contras Tudo a ser feito em web.config ou IIS?

Posso fazer isso em todo o servidor Se eu tiver vps com acesso root?

Obrigado.

questionAnswers(4)

yourAnswerToTheQuestion