Результаты поиска по запросу "robots.txt"
Я попробовал это, и это, кажется, работает на localhost, но не на производственном хостинге через firebase. Производство отображает пустую страницу
я есть SPA, построенный с использованиемcreate-react-app и хочу иметь robots.txt вот так: http://example.com/robots.txtЯ вижу наэта страница [https://github.com/ReactTraining/react-router/issues/3023]это: Вы должны убедиться, что ваш сервер ...
https://chrome.google.com/webstore/detail/seerobots/hnljoiodjfgpnddiekagpbblnjedcnfp?hl=de
етил в своих журналах, что Chrome запросилrobots.txt наряду со всем, что я ожидал. [...] 2017-09-17 15:22:35 - (sanic)[INFO]: Goin' Fast @ http://0.0.0.0:8080 2017-09-17 15:22:35 - (sanic)[INFO]: Starting worker [26704] 2017-09-17 15:22:39 - ...
Я не могу получить доступ к Robots.txt в Spring-MVC
Я пытаюсь дать доступ к
Файл Robots.txt в MVC.NET 4
Я прочитал статью об игнорировании роботов из некоторого URL в моем проекте ASP MVC.NET. В своей статье автор сказал, что мы должны добавить некоторые действ...
Должен ли я удалить мета-роботов (индекс, следовать), когда у меня есть robots.txt?
Я немного запутался, стоит ли мне удалять метатег robots, если я хочу, чтобы поисковые системы следовали моим правилам robots.txt.Если на странице существует...
Нужно ли запрещать связанные подпапки отдельно в robots.txt?
Будет ли запрещение определенной папки в robots.txt запретить связанные с ней подпапки? Пример: