nadmierny ruch z bota facebookexternalhit
Czy ktoś wie, jak powiedzieć botowi „facebookexternalhit”, aby rozprzestrzenił swój ruch?
Nasza strona internetowa jest uderzana co 45 - 60 minut z kolcami ok. 400 żądań na sekundę, od 20 do 30 różnych adresów IP z bloków sieci facebook. Między kolcami ruch nie znika, ale obciążenie jest dopuszczalne. Offcourse nie chcemy blokować bota, ale te kolce są ryzykowne. Wolelibyśmy, aby bot rozprzestrzeniał ładunek równo z czasem. I zobacz, jak zachowuje się jak Googlebot i przyjaciele.
Widziałem powiązane zgłoszenia błędów (Pierwszy błąd, Drugi Bug i trzeci błąd (# 385275384858817)), ale nie mógł znaleźć żadnych sugestii, jak zarządzać obciążeniem.