Результаты поиска по запросу "robots.txt"

1 ответ

Python, Mechanize - запрос запрещен robots.txt даже после set_handle_robots и add_headers

2 ответа

Как заблокировать поисковые системы от индексации всех URL, начинающихся с origin.domainname.com

У меня есть www.domainname.com, origin.domainname.com, указывающее на ту же кодовую базу. Есть ли способ, я могу предотвратить индексацию всех URL базового и...

1 ответ

формат URL robots.txt

ТОП публикаций

1 ответ

Файл Robots.txt в MVC.NET 4

Я прочитал статью об игнорировании роботов из некоторого URL в моем проекте ASP MVC.NET. В своей статье автор сказал, что мы должны добавить некоторые действ...

2 ответа

как запретить все динамические URL robots.txt [закрыто]

2 ответа

Robots.txt отрицать, для #! URL

Я пытаюсь добавить правило запрета в файл robots.txt, чтобы запретить доступ к одной странице. URL сайта работают следующим образом: http://example.com/#!/homepage [http://example.com/#!/homepage] http://example.com/#!/about-us ...

4 ответа

Как я могу запретить конкретную страницу из robots.txt

Я создаю на своем сайте две страницы, которые очень похожи, но служат разным целям. Один из них - поблагодарить пользователей за оставленный комментарий, а д...

5 ответов

Google robots.txt тестер

спользовании файла Robots.txt должна ли строка пользовательского агента быть в точности такой, как она отображается в журналах моего сервера? Например, при попытке сопоставить GoogleBot, я могу просто использоватьgooglebot? Также будет ли ...

1 ответ

файл robots.txt для разных доменов одного сайта

У меня есть веб-приложение ASP.NET MVC 4, к которому можно получить доступ из разных доменов. Сайт полностью локализован на основе домена в запросе (аналогично по концепцииэтот ...

1 ответ

Я попробовал это, и это, кажется, работает на localhost, но не на производственном хостинге через firebase. Производство отображает пустую страницу

я есть SPA, построенный с использованиемcreate-react-app и хочу иметь robots.txt вот так: http://example.com/robots.txtЯ вижу наэта страница [https://github.com/ReactTraining/react-router/issues/3023]это: Вы должны убедиться, что ваш сервер ...