Результаты поиска по запросу "robots.txt"

1 ответ

файл robots.txt для разных доменов одного сайта

1 ответ

Python, Mechanize - запрос запрещен robots.txt даже после set_handle_robots и add_headers

1 ответ

Как создать файл robots.txt, чтобы скрыть vew-страницу от поисковых систем в codeigniter

Как создать файл robots.txt в проекте codeigniter, чтобы скрыть страницу просмотра. где я должен поместить этот файл robots.txt в настоящее время я создал фа...

ТОП публикаций

2 ответа

Robots.txt отрицать, для #! URL

2 ответа

Является ли строка User-Agent в robots.txt точным совпадением или совпадением подстроки?

Когда сканер читает строку User-Agent файла robots.txt, он пытается точно сопоставить ее со своим собственным User-Agent или пытается сопоставить ее как подс...

1 ответ

Папки Rails robots.txt

Я собираюсь запустить приложение Rails и в качестве последней задачи я не хочу устанавливать файл robots.txt. Я не смог найти информацию о том, как правильно писать пути для приложения Rails. Всегда ли начальный путь является корневым путем из ...

4 ответа

robots.txt, чтобы запретить все страницы, кроме одной? Они перекрывают и каскадируют?

Я хочу, чтобы одна страница моего сайта была просканирована, а другие нет.Кроме того, если этоЕсли какой-либо ответ отличается от приведенного выше, я также ...

5 ответов

Google robots.txt тестер

спользовании файла Robots.txt должна ли строка пользовательского агента быть в точности такой, как она отображается в журналах моего сервера? Например, при попытке сопоставить GoogleBot, я могу просто использоватьgooglebot? Также будет ли ...

2 ответа

Тогда, как сказал эйву, решение

могу заставить это работать, но это кажется очень простым. Я хочу, чтобы корень домена сканировался http://www.example.comНо больше нечего сканировать, и все подкаталоги являются динамическими http://www.example.com/*Я пытался User-agent: * ...

1 ответ

Я попробовал это, и это, кажется, работает на localhost, но не на производственном хостинге через firebase. Производство отображает пустую страницу

я есть SPA, построенный с использованиемcreate-react-app и хочу иметь robots.txt вот так: http://example.com/robots.txtЯ вижу наэта страница [https://github.com/ReactTraining/react-router/issues/3023]это: Вы должны убедиться, что ваш сервер ...