Как запретить Googlebot перегружать сайт?

Я управляю сайтом с большим количеством контента, но небольшим трафиком, на выделенном промежуточном сервере.

Иногда Googlebot пугает нас, что приводит к тому, что Apache увеличивает объем своей памяти и приводит к сбою сервера.

Как я могу избежать этого?

Ответы на вопрос(6)

Ваш ответ на вопрос