Как я могу настроить свой сайт, чтобы разрешить сканирование от известных роботов как Google, Bing, Yahoo, Алекса и т. д. и остановить другие вредные спаммеры, роботы

я должен заблокировать определенный IP? пожалуйста, обсудите все плюсы, минусы Что-нибудь сделать в web.config или IIS?

Могу ли я сделать это на всем сервере, если у меня есть VPS с правами доступа root?

Благодарю.