Ich schreibe meinen eigenen Directory Buster in Python und teste ihn auf einem meiner Webserver in einer sicheren Umgebung. Dieses Skript versucht grundsätzlich, allgemeine Verzeichnisse von einer bestimmten Website abzurufen, und anhand des HTTP-Statuscodes der Antwort kann festgestellt werden, ob auf eine Seite zugegriffen werden kann oder nicht.
Zunächst liest das Skript eine Datei, die alle interessanten Verzeichnisse enthält, nach denen gesucht werden soll, und dann werden Anforderungen auf folgende Weise gestellt:

for dir in fileinput.input('utils/Directories_Common.wordlist'):

    try:
        conn = httplib.HTTPConnection(url)
        conn.request("GET", "/"+str(dir))
        toturl = 'http://'+url+'/'+str(dir)[:-1]
        print '    Trying to get: '+toturl
        r1 = conn.getresponse()
        response = r1.read()
        print '   ',r1.status, r1.reason
        conn.close()

Dann wird die Antwort analysiert und wenn ein Statuscode gleich "200" zurückgegeben wird, ist die Seite zugänglich. Ich habe das alles folgendermaßen implementiert:

if(r1.status == 200):
    print '\n[!] Got it! The subdirectory '+str(dir)+' could be interesting..\n\n\n'

Alles scheint mir in Ordnung zu sein, außer dass das Skript Seiten als zugänglich markiert, die es eigentlich nicht sind. Tatsächlich sammelt der Algorithmus die einzigen Seiten, die ein "200 OK" zurückgeben, aber wenn ich manuell surfe, um diese Seiten zu überprüfen, habe ich festgestellt, dass sie permanent verschoben wurden oder einen eingeschränkten Zugriff haben. Es ist ein Fehler aufgetreten, aber ich kann nicht erkennen, wo ich den Code genau korrigieren soll. Jede Hilfe wird gebeten.