Como evitar que o Googlebot sobrecarregue o site?
Estou executando um site com muito conteúdo, mas pouco tráfego, em um servidor dedicado no meio da estrada.
Ocasionalmente, o Googlebot nos debandará, fazendo com que o Apache aumente sua memória e cause a falha do servidor.
Como posso evitar isso?