Robots.txt verweigern, für ein #! URL
Ich versuche, einer robots.txt-Datei eine Verweigerungsregel hinzuzufügen, um den Zugriff auf eine einzelne Seite zu verweigern.
Die Website-URLs funktionieren wie folgt:
http://example.com/#!/homepagehttp://example.com/#!/about-ushttp://example.com/#!/super-secretJavascript tauscht dann den angezeigten DIV basierend auf der URL aus.
Wie würde ich eine Suchmaschine anfordern, die folgendes nicht auflistet:
http://example.com/#!/super-secrethttp://example.com/index.php#!/super-secretDanke im Voraus