Robots.txt nega, por um #! URL
Estou tentando adicionar uma regra de negação a um arquivo robots.txt para negar acesso a uma única página.
Os URLs do website funcionam da seguinte maneira:
http://example.com/#!/homepagehttp://example.com/#!/about-ushttp://example.com/#!/super-secretO Javascript, em seguida, troca a DIV exibida, com base na URL.
Como eu poderia solicitar uma aranha do mecanismo de pesquisa não listar o seguinte:
http://example.com/#!/super-secrethttp://example.com/index.php#!/super-secretdesde já, obrigado