Результаты поиска по запросу "robots.txt"
Как запретить поиск страниц из robots.txt
Мне нужно запретитьhttp://example.com/startup?page=2 [http://example.com/startup?page=2]поиск страниц от индексации. я хочуhttp://example.com/startup [http://example.com/startup]быть проиндексированным, но ...
Robots.txt отрицать, для #! URL
Я пытаюсь добавить правило запрета в файл robots.txt, чтобы запретить доступ к одной странице. URL сайта работают следующим образом: http://example.com/#!/homepage [http://example.com/#!/homepage] http://example.com/#!/about-us ...
файл robots.txt для разных доменов одного сайта
У меня есть веб-приложение ASP.NET MVC 4, к которому можно получить доступ из разных доменов. Сайт полностью локализован на основе домена в запросе (аналогично по концепцииэтот ...
Как добавить маршрут к динамическому robots.txt в ASP.NET MVC?
У меня есть robots.txt, который не является статичным, но генерируется динамически. Моя проблема заключается в создании маршрута от root / robots.txt до моего действия контроллера. Этотработает: routes.MapRoute( name: "Robots", url: "robots", ...
Является ли строка User-Agent в robots.txt точным совпадением или совпадением подстроки?
Когда сканер читает строку User-Agent файла robots.txt, он пытается точно сопоставить ее со своим собственным User-Agent или пытается сопоставить ее как подстроку своего User-Agent? Все, что я прочитал, явно не отвечает на этот вопрос. Согласно ...
Python, Mechanize - запрос запрещен robots.txt даже после set_handle_robots и add_headers
Я сделал веб-сканер, который получает все ссылки до 1-го уровня страницы, и от них он получает все ссылки и текст, а также ссылки на изображения и т. Д. вот целый код: import urllib import re import time from threading import Thread import ...
django эффективно обслуживает robots.txt
Вот мой текущий метод подачи robots.txt url(r'^robots\.txt/$', TemplateView.as_view(template_name='robots.txt', content_type='text/plain')),Я не думаю, что это лучший способ. Я думаю, что было бы лучше, если бы это был просто статический ресурс ...
Папки Rails robots.txt
Я собираюсь запустить приложение Rails и в качестве последней задачи я не хочу устанавливать файл robots.txt. Я не смог найти информацию о том, как правильно писать пути для приложения Rails. Всегда ли начальный путь является корневым путем из ...
Как создать файл robots.txt, чтобы скрыть vew-страницу от поисковых систем в codeigniter
Как создать файл robots.txt в проекте codeigniter, чтобы скрыть страницу просмотра. где я должен поместить этот файл robots.txt в настоящее время я создал файл, как это User-agent: * Disallow: ...
robots.txt, чтобы запретить все страницы, кроме одной? Они перекрывают и каскадируют?
Я хочу, чтобы одна страница моего сайта была просканирована, а другие нет. Кроме того, если он отличается от ответа выше, я также хотел бы знать синтаксис для запрета всего, кроме корня (индекса) сайта. # robots.txt for http://example.com/ ...