Результаты поиска по запросу "robots.txt"
Как создать файл robots.txt, чтобы скрыть vew-страницу от поисковых систем в codeigniter
Как создать файл robots.txt в проекте codeigniter, чтобы скрыть страницу просмотра. где я должен поместить этот файл robots.txt в настоящее время я создал файл, как это User-agent: * Disallow: ...
robots.txt, чтобы запретить все страницы, кроме одной? Они перекрывают и каскадируют?
Я хочу, чтобы одна страница моего сайта была просканирована, а другие нет. Кроме того, если он отличается от ответа выше, я также хотел бы знать синтаксис для запрета всего, кроме корня (индекса) сайта. # robots.txt for http://example.com/ ...
Пользовательский агент (который включает сканеры) не обязан соблюдать ваш robots.txt. Лучшее, что вы можете сделать, - это попытаться выявить неправильные шаблоны доступа (через веб-журналы и т. Д.) И заблокировать соответствующий IP-адрес.
орошая идея?? http://browsers.garykeith.com/stream.asp?RobotsTXT [http://browsers.garykeith.com/stream.asp?RobotsTXT] Что значит оскорбительное ползание? Как это плохо для моего сайта?
Тогда, как сказал эйву, решение
могу заставить это работать, но это кажется очень простым. Я хочу, чтобы корень домена сканировался http://www.example.comНо больше нечего сканировать, и все подкаталоги являются динамическими http://www.example.com/*Я пытался User-agent: * ...
Facebook и задержка сканирования в Robots.txt?
Отвечают ли веб-роботы Facebook заCrawl-delay: [http://en.wikipedia.org/wiki/Robots_exclusion_standard#Crawl-delay_directive] директива вrobots.txt файлы?
Игнорировать URL-адреса в robot.txt с конкретными параметрами?
Я хотел бы, чтобы Google игнорировал URL-адреса, как это: http://www.mydomain.com/new-printers?dir=asc&order=price&p=3 [http://www.mydomain.com/new-printers?dir=asc&order=price&p=3] Все URL, которые имеют параметры dir, order и price, должны ...
Этика robots.txt [закрыто]
У меня серьезный вопрос. Всегда ли этично игнорировать наличие файла robots.txt на веб-сайте? Вот некоторые из соображений, которые я имею в виду: Если кто-то раскроет веб-сайт, он ожидает некоторых посещений. Конечно, веб-сканеры используют ...
формат URL robots.txt
Согласно сэта страница [http://www.robotstxt.org/robotstxt.html] globbing и регулярное выражение не поддерживаются ни в User-agent, ни в Disallow Тем не менее, я заметил, чтоstackoverflow ...
как запретить все динамические URL robots.txt [закрыто]
как запретить все динамические URL в robots.txt Disallow: /?q=admin/ Disallow: /?q=aggregator/ Disallow: /?q=comment/reply/ Disallow: /?q=contact/ Disallow: /?q=logout/ Disallow: /?q=node/add/ Disallow: /?q=search/ Disallow: /?q=user/password/ ...
Как запретить поиск страниц из robots.txt
Мне нужно запретитьhttp://example.com/startup?page=2 [http://example.com/startup?page=2]поиск страниц от индексации. я хочуhttp://example.com/startup [http://example.com/startup]быть проиндексированным, но ...