robots.txt, чтобы запретить все страницы, кроме одной? Они перекрывают и каскадируют?
Я хочу, чтобы одна страница моего сайта была просканирована, а другие нет.
Кроме того, если он отличается от ответа выше, я также хотел бы знать синтаксис для запрета всего, кроме корня (индекса) сайта.
# robots.txt for http://example.com/
User-agent: *
Disallow: /style-guide
Disallow: /splash
Disallow: /etc
Disallow: /etc
Disallow: /etc
Disallow: /etc
Disallow: /etc
Или я могу сделать это?
# robots.txt for http://example.com/
User-agent: *
Disallow: /
Allow: /under-construction
Также я должен упомянуть, что это установка WordPress, поэтому, например, «на стадии разработки» установлен на первой странице. Так что в этом случае он действует как индекс.
Я думаю, что мне нужно иметьhttp://example.com
ползать, но других страниц нет.
# robots.txt for http://example.com/
User-agent: *
Disallow: /*
Будет ли это означать запретить что-либо после рута?