cómo permitir que los rastreadores web conocidos y bloquear a los spammers y robots dañinos escaneen el sitio web asp.net
¿Cómo puedo configurar mi sitio para permitir el rastreo de robots conocidos como google, bing, yahoo, alexa, etc. y detener a otros spammers dañinos, robots?
¿Debo bloquear IP particular? por favor, discuta cualquier pros, contras ¿Algo que se haga en web.config o IIS?
¿Puedo hacerlo en todo el servidor si tengo vps con acceso de root?
Gracias.