Estoy escribiendo mi propio buscador de directorios en python, y lo estoy probando contra un servidor web mío en un entorno seguro. Básicamente, este script intenta recuperar directorios comunes de un sitio web determinado y, al observar el código de estado HTTP de la respuesta, puede determinar si una página es accesible o no.
Para empezar, la secuencia de comandos lee un archivo que contiene todos los directorios interesantes para buscar, y luego se realizan las solicitudes de la siguiente manera:

for dir in fileinput.input('utils/Directories_Common.wordlist'):

    try:
        conn = httplib.HTTPConnection(url)
        conn.request("GET", "/"+str(dir))
        toturl = 'http://'+url+'/'+str(dir)[:-1]
        print '    Trying to get: '+toturl
        r1 = conn.getresponse()
        response = r1.read()
        print '   ',r1.status, r1.reason
        conn.close()

Luego, la respuesta se analiza y, si se devuelve un código de estado igual a "200", se puede acceder a la página. He implementado todo esto de la siguiente manera:

if(r1.status == 200):
    print '\n[!] Got it! The subdirectory '+str(dir)+' could be interesting..\n\n\n'

Todo me parece bien, excepto que el script marca como páginas accesibles que en realidad no lo son. De hecho, el algoritmo recopila las únicas páginas que devuelven un "200 OK", pero cuando navego manualmente para revisar esas páginas, descubrí que se han movido permanentemente o que tienen un acceso restringido. Algo salió mal pero no puedo ver dónde debo corregir el código exactamente, se agradece cualquier ayuda ...