Estou escrevendo meu próprio diretório buster em python e estou testando-o em um servidor web meu em um ambiente seguro. Este script basicamente tenta recuperar diretórios comuns de um determinado site e, olhando para o código de status HTTP da resposta, é capaz de determinar se uma página é acessível ou não.
Para começar, o script lê um arquivo contendo todos os diretórios interessantes a serem pesquisados ​​e, em seguida, as solicitações são feitas da seguinte maneira:

for dir in fileinput.input('utils/Directories_Common.wordlist'):

    try:
        conn = httplib.HTTPConnection(url)
        conn.request("GET", "/"+str(dir))
        toturl = 'http://'+url+'/'+str(dir)[:-1]
        print '    Trying to get: '+toturl
        r1 = conn.getresponse()
        response = r1.read()
        print '   ',r1.status, r1.reason
        conn.close()

Em seguida, a resposta é analisada e se um código de status igual a "200" for retornado, a página ficará acessível. Eu implementei tudo isso da seguinte maneira:

if(r1.status == 200):
    print '\n[!] Got it! The subdirectory '+str(dir)+' could be interesting..\n\n\n'

Tudo parece bem para mim, exceto que o script marca como páginas acessíveis que na verdade não são. Na verdade, o algoritmo coleta as únicas páginas que retornam um "200 OK", mas quando navego manualmente para verificar essas páginas, descobri que elas foram movidas permanentemente ou que elas têm acesso restrito. Algo deu errado, mas não consigo identificar onde devo corrigir o código exatamente, qualquer ajuda é apreciada ..