я есть dev.example.com и www.example.com, размещенные на разных поддоменах. Я хочу, чтобы сканеры сбросили все записиdev поддомен, но держать их наwww, Я использую git для хранения кода для обоих, поэтому в идеале я бы хотел, чтобы оба сайта использовали один и тот же файл robots.txt.

Можно ли использовать один файл robots.txt и исключить сканеры изdev поддомен?