Результаты поиска по запросу "robots.txt"

1 ответ

Python, Mechanize - запрос запрещен robots.txt даже после set_handle_robots и add_headers

Я сделал веб-сканер, который получает все ссылки до 1-го уровня страницы, и от них он получает все ссылки и текст, а также ссылки на изображения и т. Д. вот целый код: import urllib import re import time from threading import Thread import ...

2 ответа

Является ли строка User-Agent в robots.txt точным совпадением или совпадением подстроки?

Когда сканер читает строку User-Agent файла robots.txt, он пытается точно сопоставить ее со своим собственным User-Agent или пытается сопоставить ее как подстроку своего User-Agent? Все, что я прочитал, явно не отвечает на этот вопрос. Согласно ...

1 ответ

Папки Rails robots.txt

Я собираюсь запустить приложение Rails и в качестве последней задачи я не хочу устанавливать файл robots.txt. Я не смог найти информацию о том, как правильно писать пути для приложения Rails. Всегда ли начальный путь является корневым путем из ...

ТОП публикаций

2 ответа

django эффективно обслуживает robots.txt

Вот мой текущий метод подачи robots.txt url(r'^robots\.txt/$', TemplateView.as_view(template_name='robots.txt', content_type='text/plain')),Я не думаю, что это лучший способ. Я думаю, что было бы лучше, если бы это был просто статический ресурс ...

2 ответа

https://chrome.google.com/webstore/detail/seerobots/hnljoiodjfgpnddiekagpbblnjedcnfp?hl=de

етил в своих журналах, что Chrome запросилrobots.txt наряду со всем, что я ожидал. [...] 2017-09-17 15:22:35 - (sanic)[INFO]: Goin' Fast @ http://0.0.0.0:8080 2017-09-17 15:22:35 - (sanic)[INFO]: Starting worker [26704] 2017-09-17 15:22:39 - ...

5 ответов

Google robots.txt тестер

спользовании файла Robots.txt должна ли строка пользовательского агента быть в точности такой, как она отображается в журналах моего сервера? Например, при попытке сопоставить GoogleBot, я могу просто использоватьgooglebot? Также будет ли ...

1 ответ

Спасибо, именно то, что я искал. ура

ой вопрос Я хочу добавить: Disallow */*details-print/В основном блокирующие правила в виде/foo/bar/dynamic-details-print --- foo и bar в этом примере также могут быть полностью динамическими. Я думал, что это будет просто, но тогда на ...

4 ответа

Но если вы можете поддерживать язык шаблонов, можно сохранить все в одном файле:

я есть dev.example.com и www.example.com, размещенные на разных поддоменах. Я хочу, чтобы сканеры сбросили все записиdev поддомен, но держать их наwww, Я использую git для хранения кода для обоих, поэтому в идеале я бы хотел, чтобы оба сайта ...

1 ответ

Я попробовал это, и это, кажется, работает на localhost, но не на производственном хостинге через firebase. Производство отображает пустую страницу

я есть SPA, построенный с использованиемcreate-react-app и хочу иметь robots.txt вот так: http://example.com/robots.txtЯ вижу наэта страница [https://github.com/ReactTraining/react-router/issues/3023]это: Вы должны убедиться, что ваш сервер ...

1 ответ

Блокировка или удаление страниц с помощью файла robots.txt

аюсь настроить robots.txt, но я не уверен в регулярных выражениях. У меня есть четыре страницы на трех разных языках. Вместо того, чтобы перечислять каждую страницу раз 3, я решил использовать регулярное выражение. nav.aspx page.aspx / ...