Результаты поиска по запросу "robots.txt"
Python, Mechanize - запрос запрещен robots.txt даже после set_handle_robots и add_headers
Я сделал веб-сканер, который получает все ссылки до 1-го уровня страницы, и от них он получает все ссылки и текст, а также ссылки на изображения и т. Д. вот целый код: import urllib import re import time from threading import Thread import ...
Я попробовал это, и это, кажется, работает на localhost, но не на производственном хостинге через firebase. Производство отображает пустую страницу
я есть SPA, построенный с использованиемcreate-react-app и хочу иметь robots.txt вот так: http://example.com/robots.txtЯ вижу наэта страница [https://github.com/ReactTraining/react-router/issues/3023]это: Вы должны убедиться, что ваш сервер ...
Как заблокировать поисковые системы от индексации всех URL, начинающихся с origin.domainname.com
У меня есть www.domainname.com, origin.domainname.com, указывающее на ту же кодовую базу. Есть ли способ, я могу предотвратить индексацию всех URL базового и...
Как создать файл robots.txt, чтобы скрыть vew-страницу от поисковых систем в codeigniter
Как создать файл robots.txt в проекте codeigniter, чтобы скрыть страницу просмотра. где я должен поместить этот файл robots.txt в настоящее время я создал файл, как это User-agent: * Disallow: ...
Игнорировать URL-адреса в robot.txt с конкретными параметрами?
Я хотел бы, чтобы Google игнорировал URL-адреса, как это: http://www.mydomain.com/new-printers?dir=asc&order=price&p=3 [http://www.mydomain.com/new-printers?dir=asc&order=price&p=3] Все URL, которые имеют параметры dir, order и price, должны ...
django эффективно обслуживает robots.txt
Вот мой текущий метод подачи robots.txt url(r'^robots\.txt/$', TemplateView.as_view(template_name='robots.txt', content_type='text/plain')),Я не думаю, что это лучший способ. Я думаю, что было бы лучше, если бы это был просто статический ресурс ...
Robots.txt отрицать, для #! URL
Я пытаюсь добавить правило запрета в файл robots.txt, чтобы запретить доступ к одной странице. URL сайта работают следующим образом: http://example.com/#!/homepage [http://example.com/#!/homepage] http://example.com/#!/about-us ...
Facebook и задержка сканирования в Robots.txt?
Отвечают ли веб-роботы Facebook заCrawl-delay: [http://en.wikipedia.org/wiki/Robots_exclusion_standard#Crawl-delay_directive] директива вrobots.txt файлы?