Результаты поиска по запросу "robots.txt"

9 ответов

Этика robots.txt [закрыто]

У меня серьезный вопрос. Всегда ли этично игнорировать наличие файла robots.txt на веб-сайте? Вот некоторые из соображений, которые я имею в виду: Если кто-то раскроет веб-сайт, он ожидает некоторых посещений. Конечно, веб-сканеры используют ...

1 ответ

Что означает знак доллара в robots.txt

5 ответов

Facebook и задержка сканирования в Robots.txt?

Отвечают ли веб-роботы Facebook заCrawl-delay: [http://en.wikipedia.org/wiki/Robots_exclusion_standard#Crawl-delay_directive] директива вrobots.txt файлы?

ТОП публикаций

4 ответа

Но если вы можете поддерживать язык шаблонов, можно сохранить все в одном файле:

я есть dev.example.com и www.example.com, размещенные на разных поддоменах. Я хочу, чтобы сканеры сбросили все записиdev поддомен, но держать их наwww, Я использую git для хранения кода для обоих, поэтому в идеале я бы хотел, чтобы оба сайта ...

1 ответ

Блокировка или удаление страниц с помощью файла robots.txt

аюсь настроить robots.txt, но я не уверен в регулярных выражениях. У меня есть четыре страницы на трех разных языках. Вместо того, чтобы перечислять каждую страницу раз 3, я решил использовать регулярное выражение. nav.aspx page.aspx / ...

1 ответ

Нужно ли запрещать связанные подпапки отдельно в robots.txt?

Будет ли запрещение определенной папки в robots.txt запретить связанные с ней подпапки? Пример:

2 ответа

django эффективно обслуживает robots.txt

Вот мой текущий метод подачи robots.txt url(r'^robots\.txt/$', TemplateView.as_view(template_name='robots.txt', content_type='text/plain')),Я не думаю, что это лучший способ. Я думаю, что было бы лучше, если бы это был просто статический ресурс ...

1 ответ

Файл Robots.txt в MVC.NET 4

Я прочитал статью об игнорировании роботов из некоторого URL в моем проекте ASP MVC.NET. В своей статье автор сказал, что мы должны добавить некоторые действ...

2 ответа

django эффективно обслуживает robots.txt

Вот мой текущий метод подачи robots.txt

2 ответа

Является ли строка User-Agent в robots.txt точным совпадением или совпадением подстроки?

Когда сканер читает строку User-Agent файла robots.txt, он пытается точно сопоставить ее со своим собственным User-Agent или пытается сопоставить ее как подстроку своего User-Agent? Все, что я прочитал, явно не отвечает на этот вопрос. Согласно ...