Результаты поиска по запросу "robots.txt"
Я не могу получить доступ к Robots.txt в Spring-MVC
Я пытаюсь дать доступ к
Спасибо, именно то, что я искал. ура
ой вопрос Я хочу добавить: Disallow */*details-print/В основном блокирующие правила в виде/foo/bar/dynamic-details-print --- foo и bar в этом примере также могут быть полностью динамическими. Я думал, что это будет просто, но тогда на ...
Я попробовал это, и это, кажется, работает на localhost, но не на производственном хостинге через firebase. Производство отображает пустую страницу
я есть SPA, построенный с использованиемcreate-react-app и хочу иметь robots.txt вот так: http://example.com/robots.txtЯ вижу наэта страница [https://github.com/ReactTraining/react-router/issues/3023]это: Вы должны убедиться, что ваш сервер ...
Блокировка или удаление страниц с помощью файла robots.txt
аюсь настроить robots.txt, но я не уверен в регулярных выражениях. У меня есть четыре страницы на трех разных языках. Вместо того, чтобы перечислять каждую страницу раз 3, я решил использовать регулярное выражение. nav.aspx page.aspx / ...
формат URL robots.txt
Согласно сэта страница [http://www.robotstxt.org/robotstxt.html] globbing и регулярное выражение не поддерживаются ни в User-agent, ни в Disallow Тем не менее, я заметил, чтоstackoverflow ...
файл robots.txt для разных доменов одного сайта
У меня есть веб-приложение ASP.NET MVC 4, к которому можно получить доступ из разных доменов. Сайт полностью локализован на основе домена в запросе (аналогично по концепцииэтот ...
Python, Mechanize - запрос запрещен robots.txt даже после set_handle_robots и add_headers
Я сделал веб-сканер, который получает все ссылки до 1-го уровня страницы, и от них он получает все ссылки и текст, а также ссылки на изображения и т. Д. вот целый код: import urllib import re import time from threading import Thread import ...
Папки Rails robots.txt
Я собираюсь запустить приложение Rails и в качестве последней задачи я не хочу устанавливать файл robots.txt. Я не смог найти информацию о том, как правильно писать пути для приложения Rails. Всегда ли начальный путь является корневым путем из ...
Как создать файл robots.txt, чтобы скрыть vew-страницу от поисковых систем в codeigniter
Как создать файл robots.txt в проекте codeigniter, чтобы скрыть страницу просмотра. где я должен поместить этот файл robots.txt в настоящее время я создал файл, как это User-agent: * Disallow: ...