Как запретить Googlebot перегружать сайт?
Я управляю сайтом с большим количеством контента, но небольшим трафиком, на выделенном промежуточном сервере.
Иногда Googlebot пугает нас, что приводит к тому, что Apache увеличивает объем своей памяти и приводит к сбою сервера.
Как я могу избежать этого?