Результаты поиска по запросу "robots.txt"
Как создать файл robots.txt, чтобы скрыть vew-страницу от поисковых систем в codeigniter
Как создать файл robots.txt в проекте codeigniter, чтобы скрыть страницу просмотра. где я должен поместить этот файл robots.txt в настоящее время я создал фа...
robots.txt, чтобы запретить все страницы, кроме одной? Они перекрывают и каскадируют?
Я хочу, чтобы одна страница моего сайта была просканирована, а другие нет.Кроме того, если этоЕсли какой-либо ответ отличается от приведенного выше, я также ...
файл robots.txt для разных доменов одного сайта
У меня есть веб-приложение ASP.NET MVC 4, к которому можно получить доступ из разных доменов. Сайт полностью локализован на основе домена в запросе (аналогично по концепцииэтот ...
Как добавить маршрут к динамическому robots.txt в ASP.NET MVC?
У меня есть robots.txt, который не является статичным, но генерируется динамически. Моя проблема заключается в создании маршрута от root / robots.txt до моего действия контроллера. Этотработает: routes.MapRoute( name: "Robots", url: "robots", ...
Robots.txt отрицать, для #! URL
Я пытаюсь добавить правило запрета в файл robots.txt, чтобы запретить доступ к одной странице. URL сайта работают следующим образом: http://example.com/#!/homepage [http://example.com/#!/homepage] http://example.com/#!/about-us ...
Подстановочные знаки в robots.txt
Если на сайте WordPress у меня есть категории в следующем порядке:
Нужно ли запрещать связанные подпапки отдельно в robots.txt?
Будет ли запрещение определенной папки в robots.txt запретить связанные с ней подпапки? Пример: