Результаты поиска по запросу "robots.txt"
https://chrome.google.com/webstore/detail/seerobots/hnljoiodjfgpnddiekagpbblnjedcnfp?hl=de
етил в своих журналах, что Chrome запросилrobots.txt наряду со всем, что я ожидал. [...] 2017-09-17 15:22:35 - (sanic)[INFO]: Goin' Fast @ http://0.0.0.0:8080 2017-09-17 15:22:35 - (sanic)[INFO]: Starting worker [26704] 2017-09-17 15:22:39 - ...
Пользовательский агент (который включает сканеры) не обязан соблюдать ваш robots.txt. Лучшее, что вы можете сделать, - это попытаться выявить неправильные шаблоны доступа (через веб-журналы и т. Д.) И заблокировать соответствующий IP-адрес.
орошая идея?? http://browsers.garykeith.com/stream.asp?RobotsTXT [http://browsers.garykeith.com/stream.asp?RobotsTXT] Что значит оскорбительное ползание? Как это плохо для моего сайта?
Тогда, как сказал эйву, решение
могу заставить это работать, но это кажется очень простым. Я хочу, чтобы корень домена сканировался http://www.example.comНо больше нечего сканировать, и все подкаталоги являются динамическими http://www.example.com/*Я пытался User-agent: * ...
как запретить все динамические URL robots.txt [закрыто]
как запретить все динамические URL в robots.txt Disallow: /?q=admin/ Disallow: /?q=aggregator/ Disallow: /?q=comment/reply/ Disallow: /?q=contact/ Disallow: /?q=logout/ Disallow: /?q=node/add/ Disallow: /?q=search/ Disallow: /?q=user/password/ ...
Robots.txt отрицать, для #! URL
Я пытаюсь добавить правило запрета в файл robots.txt, чтобы запретить доступ к одной странице. URL сайта работают следующим образом: http://example.com/#!/homepage [http://example.com/#!/homepage] http://example.com/#!/about-us ...
Как добавить маршрут к динамическому robots.txt в ASP.NET MVC?
У меня есть robots.txt, который не является статичным, но генерируется динамически. Моя проблема заключается в создании маршрута от root / robots.txt до моего действия контроллера. Этотработает: routes.MapRoute( name: "Robots", url: "robots", ...
Является ли строка User-Agent в robots.txt точным совпадением или совпадением подстроки?
Когда сканер читает строку User-Agent файла robots.txt, он пытается точно сопоставить ее со своим собственным User-Agent или пытается сопоставить ее как подстроку своего User-Agent? Все, что я прочитал, явно не отвечает на этот вопрос. Согласно ...
django эффективно обслуживает robots.txt
Вот мой текущий метод подачи robots.txt url(r'^robots\.txt/$', TemplateView.as_view(template_name='robots.txt', content_type='text/plain')),Я не думаю, что это лучший способ. Я думаю, что было бы лучше, если бы это был просто статический ресурс ...
robots.txt парсер java
Я хочу знать, как разобрать robots.txt в Java.Уже есть какой-нибудь код?