Crawlen Roboter Iframes?

Ist es üblich, dass Roboter in Iframes kriechen? Und wie machen sie das? Indizieren sie es sofort oder 'merken' sie sich nur die URL und fahren manch...

So überprüfen Sie, ob ein Roboter Informationen eingibt

übermäßiger Verkehr von FacebookExternalhit Bot

Weiß jemand, wie er dem 'facebookexternalhit'-Bot sagt, dass er seinen Traffic verbreiten soll?Unsere Website wird alle 45 - 60 Minuten mit Spitzen v...