Wie kann ich meine Site so konfigurieren, dass sie das Crawlen von bekannten Robotern wie Google, Bing, Yahoo, Alexa usw. und das Stoppen anderer schädlicher Spammer und Roboter zulässt?

soll ich bestimmte IP blockieren? Besprechen Sie bitte die Vor- und Nachteile. Was ist in der Datei web.config oder in IIS zu tun?

Kann ich es serverweit machen, wenn ich ein vps mit root-zugriff habe?

Vielen Dank.