Результаты поиска по запросу "robots.txt"

2 ответа

Как добавить маршрут к динамическому robots.txt в ASP.NET MVC?

У меня есть robots.txt, который не является статичным, но генерируется динамически. Моя проблема заключается в создании маршрута от root / robots.txt до моег...

3 ответа

Игнорировать URL-адреса в robot.txt с конкретными параметрами?

Я хотел бы, чтобы Google игнорировал URL-адреса, как это: http://www.mydomain.com/new-printers?dir=asc&order=price&p=3 [http://www.mydomain.com/new-printers?dir=asc&order=price&p=3] Все URL, которые имеют параметры dir, order и price, должны ...

2 ответа

Как не индексировать конкретные URL-адреса?

ТОП публикаций

2 ответа

Robots.txt отрицать, для #! URL

Я пытаюсь добавить правило запрета в файл robots.txt, чтобы запретить доступ к одной странице. URL сайта работают следующим образом: http://example.com/#!/homepage [http://example.com/#!/homepage] http://example.com/#!/about-us ...

2 ответа

Тогда, как сказал эйву, решение

могу заставить это работать, но это кажется очень простым. Я хочу, чтобы корень домена сканировался http://www.example.comНо больше нечего сканировать, и все подкаталоги являются динамическими http://www.example.com/*Я пытался User-agent: * ...

4 ответа

robots.txt, чтобы запретить все страницы, кроме одной? Они перекрывают и каскадируют?

Я хочу, чтобы одна страница моего сайта была просканирована, а другие нет. Кроме того, если он отличается от ответа выше, я также хотел бы знать синтаксис для запрета всего, кроме корня (индекса) сайта. # robots.txt for http://example.com/ ...

1 ответ

Папки Rails robots.txt

Я собираюсь запустить приложение Rails и, как последнее задание, я хочуt установить файл robots.txt. Я не могНайти информацию о том, как правильно писать пут...

4 ответа

Можно ли перечислить несколько пользовательских агентов в одной строке?

1 ответ

Файл Robots.txt в MVC.NET 4

Я прочитал статью об игнорировании роботов из некоторого URL в моем проекте ASP MVC.NET. В своей статье автор сказал, что мы должны добавить некоторые действ...

1 ответ

Блокировка или удаление страниц с помощью файла robots.txt

аюсь настроить robots.txt, но я не уверен в регулярных выражениях. У меня есть четыре страницы на трех разных языках. Вместо того, чтобы перечислять каждую страницу раз 3, я решил использовать регулярное выражение. nav.aspx page.aspx / ...