Proibir ou não indexar no subdomínio com robots.txt
Eu tenho dev.example.com e www.example.com hospedados em diferentes subdomínios. Quero que os rastreadores descartem todos os registros dodev
subdomínio, mas mantenha-oswww
. Estou usando o git para armazenar o código para ambos, então, idealmente, gostaria que os dois sites usassem o mesmo arquivo robots.txt.
É possível usar um arquivo robots.txt e excluir os rastreadores dodev
subdomínio?