robots.txt, чтобы запретить все страницы, кроме одной? Они перекрывают и каскадируют?
Я хочу, чтобы одна страница моего сайта была просканирована, а другие нет.
Кроме того, если этоЕсли какой-либо ответ отличается от приведенного выше, я также хотел бы знать синтаксис, запрещающий все, кроме корня (индекса) сайта.
# robots.txt for http://example.com/
User-agent: *
Disallow: /style-guide
Disallow: /splash
Disallow: /etc
Disallow: /etc
Disallow: /etc
Disallow: /etc
Disallow: /etc
Или я могу сделать это?
# robots.txt for http://example.com/
User-agent: *
Disallow: /
Allow: /under-construction
Также я должен упомянуть, что это установка WordPress, так чтов разработке," например, установлен на первой странице. Так что в этом случае он действует как индекс.
Я думаю, что мне нужно иметьhttp://example.com
ползать, но других страниц нет.
# robots.txt for http://example.com/
User-agent: *
Disallow: /*
Будет ли это означать запретить что-либо после рута?