jak zezwolić znanym robotom sieciowym i blokować spamerów i szkodliwe roboty na skanowanie witryny asp.net

Jak mogę skonfigurować moją witrynę, aby umożliwić indeksowanie znanych robotów, takich jak Google, Bing, Yahoo, Alexa itp., I powstrzymać innych szkodliwych spamerów, robotów

powinienem zablokować konkretny adres IP? proszę omówić wszystkie zalety, wady Wszystko, co należy zrobić w web.config lub IIS?

Czy mogę to zrobić na serwerze Jeśli mam vps z dostępem roota?

Dzięki.

questionAnswers(4)

yourAnswerToTheQuestion