Результаты поиска по запросу "robots.txt"
Спасибо, именно то, что я искал. ура
ой вопрос Я хочу добавить: Disallow */*details-print/В основном блокирующие правила в виде/foo/bar/dynamic-details-print --- foo и bar в этом примере также могут быть полностью динамическими. Я думал, что это будет просто, но тогда на ...
Google robots.txt тестер
спользовании файла Robots.txt должна ли строка пользовательского агента быть в точности такой, как она отображается в журналах моего сервера? Например, при попытке сопоставить GoogleBot, я могу просто использоватьgooglebot? Также будет ли ...
Как заблокировать поисковые системы от индексации всех URL, начинающихся с origin.domainname.com
У меня есть www.domainname.com, origin.domainname.com, указывающее на ту же кодовую базу. Есть ли способ, я могу предотвратить индексацию всех URL базового и...
Как я могу запретить конкретную страницу из robots.txt
Я создаю на своем сайте две страницы, которые очень похожи, но служат разным целям. Один из них - поблагодарить пользователей за оставленный комментарий, а д...
robots.txt парсер java
Я хочу знать, как разобрать robots.txt в Java.Уже есть какой-нибудь код?
Как запретить поиск страниц из robots.txt
Мне нужно запретитьhttp://example.com/startup?page=2 [http://example.com/startup?page=2]поиск страниц от индексации. я хочуhttp://example.com/startup [http://example.com/startup]быть проиндексированным, но ...
как запретить все динамические URL robots.txt [закрыто]
как запретить все динамические URL в robots.txt Disallow: /?q=admin/ Disallow: /?q=aggregator/ Disallow: /?q=comment/reply/ Disallow: /?q=contact/ Disallow: /?q=logout/ Disallow: /?q=node/add/ Disallow: /?q=search/ Disallow: /?q=user/password/ ...
Этика robots.txt [закрыто]
У меня серьезный вопрос. Всегда ли этично игнорировать наличие файла robots.txt на веб-сайте? Вот некоторые из соображений, которые я имею в виду: Если кто-то раскроет веб-сайт, он ожидает некоторых посещений. Конечно, веб-сканеры используют ...