Ich möchte, dass eine Seite meiner Website gecrawlt wird und keine anderen.

Wenn es sich um eine andere Antwort als die oben stehende handelt, möchte ich auch die Syntax kennen, mit der alles außer dem Stammverzeichnis (Index) der Website verboten wird.

# robots.txt for http://example.com/

User-agent: *
Disallow: /style-guide
Disallow: /splash
Disallow: /etc
Disallow: /etc
Disallow: /etc
Disallow: /etc
Disallow: /etc

Oder kann ich das so machen?

# robots.txt for http://example.com/

User-agent: *
Disallow: /
Allow: /under-construction

Auch sollte ich erwähnen, dass dies eine WordPress-Installation ist, so dass "under-construction" zum Beispiel auf die Startseite gesetzt ist. In diesem Fall fungiert es als Index.

Ich denke, was ich brauche, ist zu habenhttp://example.com Crawlen, aber keine anderen Seiten.

# robots.txt for http://example.com/

User-agent: *
Disallow: /*

Würde dies bedeuten, etwas nach der Wurzel zu verbieten?