могу заставить это работать, но это кажется очень простым.

Я хочу, чтобы корень домена сканировался

http://www.example.com

Но больше нечего сканировать, и все подкаталоги являются динамическими

http://www.example.com/*

Я пытался

User-agent: *
Allow: /
Disallow: /*/

но инструмент тестирования Google для веб-мастеров говорит, что все подкаталоги разрешены.

У кого-нибудь есть решение для этого? Спасибо :)