Результаты поиска по запросу "robots.txt"

1 ответ

формат URL robots.txt

1 ответ

файл robots.txt для разных доменов одного сайта

1 ответ

Python, Mechanize - запрос запрещен robots.txt даже после set_handle_robots и add_headers

ТОП публикаций

1 ответ

Папки Rails robots.txt

Я собираюсь запустить приложение Rails и, как последнее задание, я хочуt установить файл robots.txt. Я не могНайти информацию о том, как правильно писать пут...

1 ответ

Как создать файл robots.txt, чтобы скрыть vew-страницу от поисковых систем в codeigniter

Как создать файл robots.txt в проекте codeigniter, чтобы скрыть страницу просмотра. где я должен поместить этот файл robots.txt в настоящее время я создал фа...

1 ответ

Подстановочные знаки в robots.txt

Если на сайте WordPress у меня есть категории в следующем порядке:

1 ответ

заблокировать поисковую систему

1 ответ

Нужно ли запрещать связанные подпапки отдельно в robots.txt?

Будет ли запрещение определенной папки в robots.txt запретить связанные с ней подпапки? Пример:

1 ответ

Что означает знак доллара в robots.txt

1 ответ

Файл Robots.txt в MVC.NET 4

Я прочитал статью об игнорировании роботов из некоторого URL в моем проекте ASP MVC.NET. В своей статье автор сказал, что мы должны добавить некоторые действ...