Robots.txt отрицать, для #! URL

Я пытаюсь добавить правило запрета в файл robots.txt, чтобы запретить доступ к одной странице. URL сайта работают следующим образом: http://example.com/#!/homepage [http://example.com/#!/homepage] http://example.com/#!/about-us ...

Robots.txt отрицать, для #! URL

формат URL robots.txt

Согласно сэта страница [http://www.robotstxt.org/robotstxt.html] globbing и регулярное выражение не поддерживаются ни в User-agent, ни в Disallow Тем не менее, я заметил, чтоstackoverflow ...

формат URL robots.txt

Игнорировать URL-адреса в robot.txt с конкретными параметрами?

Я хотел бы, чтобы Google игнорировал URL-адреса, как это: http://www.mydomain.com/new-printers?dir=asc&order=price&p=3 [http://www.mydomain.com/new-printers?dir=asc&order=price&p=3] Все URL, которые имеют параметры dir, order и price, должны ...

Facebook и задержка сканирования в Robots.txt?

Отвечают ли веб-роботы Facebook заCrawl-delay: [http://en.wikipedia.org/wiki/Robots_exclusion_standard#Crawl-delay_directive] директива вrobots.txt файлы?

Тогда, как сказал эйву, решение

могу заставить это работать, но это кажется очень простым. Я хочу, чтобы корень домена сканировался http://www.example.comНо больше нечего сканировать, и все подкаталоги являются динамическими http://www.example.com/*Я пытался User-agent: * ...

Пользовательский агент (который включает сканеры) не обязан соблюдать ваш robots.txt. Лучшее, что вы можете сделать, - это попытаться выявить неправильные шаблоны доступа (через веб-журналы и т. Д.) И заблокировать соответствующий IP-адрес.

орошая идея?? http://browsers.garykeith.com/stream.asp?RobotsTXT [http://browsers.garykeith.com/stream.asp?RobotsTXT] Что значит оскорбительное ползание? Как это плохо для моего сайта?

Блокировка или удаление страниц с помощью файла robots.txt

аюсь настроить robots.txt, но я не уверен в регулярных выражениях. У меня есть четыре страницы на трех разных языках. Вместо того, чтобы перечислять каждую страницу раз 3, я решил использовать регулярное выражение. nav.aspx page.aspx / ...

Но если вы можете поддерживать язык шаблонов, можно сохранить все в одном файле:

я есть dev.example.com и www.example.com, размещенные на разных поддоменах. Я хочу, чтобы сканеры сбросили все записиdev поддомен, но держать их наwww, Я использую git для хранения кода для обоих, поэтому в идеале я бы хотел, чтобы оба сайта ...