код состояния Python http

Я пишу свой собственный каталогизатор на python и тестирую его на своем веб-сервере в безопасной и надежной среде. Этот скрипт в основном пытается извлечь общие каталоги с данного веб-сайта и, глядя на код состояния HTTP ответа, может определить, доступна ли страница или нет.
Для начала сценарий считывает файл, содержащий все интересующие каталоги, которые необходимо найти, а затем отправляет запросы следующим образом:

for dir in fileinput.input('utils/Directories_Common.wordlist'):

    try:
        conn = httplib.HTTPConnection(url)
        conn.request("GET", "/"+str(dir))
        toturl = 'http://'+url+'/'+str(dir)[:-1]
        print '    Trying to get: '+toturl
        r1 = conn.getresponse()
        response = r1.read()
        print '   ',r1.status, r1.reason
        conn.close()

Затем ответ анализируется, и если возвращается код состояния, равный «200», то страница становится доступной. Я реализовал все это следующим образом:

if(r1.status == 200):
    print '\n[!] Got it! The subdirectory '+str(dir)+' could be interesting..\n\n\n'

Мне кажется, что все в порядке, за исключением того, что скрипт помечает как доступные страницы, которых на самом деле нет. Фактически, алгоритм собирает единственные страницы, которые возвращают «200 OK», но когда я вручную просматривал эти страницы, я обнаружил, что они были перемещены навсегда или имеют ограниченный доступ. Что-то пошло не так, но я не могу определить, где именно исправить код, любая помощь приветствуется ..

Ответы на вопрос(2)

Ваш ответ на вопрос