Результаты поиска по запросу "robots.txt"

1 ответ

Нужно ли запрещать связанные подпапки отдельно в robots.txt?

Будет ли запрещение определенной папки в robots.txt запретить связанные с ней подпапки? Пример:

5 ответов

Google robots.txt тестер

спользовании файла Robots.txt должна ли строка пользовательского агента быть в точности такой, как она отображается в журналах моего сервера? Например, при попытке сопоставить GoogleBot, я могу просто использоватьgooglebot? Также будет ли ...

9 ответов

Этика robots.txt [закрыто]

У меня серьезный вопрос. Всегда ли этично игнорировать наличие файла robots.txt на веб-сайте? Вот некоторые из соображений, которые я имею в виду: Если кто-то раскроет веб-сайт, он ожидает некоторых посещений. Конечно, веб-сканеры используют ...

ТОП публикаций

1 ответ

файл robots.txt для разных доменов одного сайта

У меня есть веб-приложение ASP.NET MVC 4, к которому можно получить доступ из разных доменов. Сайт полностью локализован на основе домена в запросе (аналогично по концепцииэтот ...

2 ответа

Как скрыть каталог сайта от поисковых систем без Robots.txt?

2 ответа

django эффективно обслуживает robots.txt

Вот мой текущий метод подачи robots.txt url(r'^robots\.txt/$', TemplateView.as_view(template_name='robots.txt', content_type='text/plain')),Я не думаю, что это лучший способ. Я думаю, что было бы лучше, если бы это был просто статический ресурс ...

2 ответа

Является ли строка User-Agent в robots.txt точным совпадением или совпадением подстроки?

Когда сканер читает строку User-Agent файла robots.txt, он пытается точно сопоставить ее со своим собственным User-Agent или пытается сопоставить ее как подстроку своего User-Agent? Все, что я прочитал, явно не отвечает на этот вопрос. Согласно ...

1 ответ

формат URL robots.txt

1 ответ

Папки Rails robots.txt

Я собираюсь запустить приложение Rails и в качестве последней задачи я не хочу устанавливать файл robots.txt. Я не смог найти информацию о том, как правильно писать пути для приложения Rails. Всегда ли начальный путь является корневым путем из ...

2 ответа

Является ли строка User-Agent в robots.txt точным совпадением или совпадением подстроки?

Когда сканер читает строку User-Agent файла robots.txt, он пытается точно сопоставить ее со своим собственным User-Agent или пытается сопоставить ее как подс...