robots.txt, чтобы запретить все страницы, кроме одной? Они перекрывают и каскадируют?

Я хочу, чтобы одна страница моего сайта была просканирована, а другие нет.

Кроме того, если он отличается от ответа выше, я также хотел бы знать синтаксис для запрета всего, кроме корня (индекса) сайта.

# robots.txt for http://example.com/

User-agent: *
Disallow: /style-guide
Disallow: /splash
Disallow: /etc
Disallow: /etc
Disallow: /etc
Disallow: /etc
Disallow: /etc

Или я могу сделать это?

# robots.txt for http://example.com/

User-agent: *
Disallow: /
Allow: /under-construction

Также я должен упомянуть, что это установка WordPress, поэтому, например, «на стадии разработки» установлен на первой странице. Так что в этом случае он действует как индекс.

Я думаю, что мне нужно иметьhttp://example.com ползать, но других страниц нет.

# robots.txt for http://example.com/

User-agent: *
Disallow: /*

Будет ли это означать запретить что-либо после рута?

Ответы на вопрос(4)

Ваш ответ на вопрос