Używam Scrapy do indeksowania niektórych stron. Pobieram start_urls z arkusza Excela i muszę zapisać url w elemencie.

class abc_Spider(BaseSpider):
   name = 'abc'
   allowed_domains = ['abc.com']         
   wb = xlrd.open_workbook(path + '/somefile.xlsx')
   wb.sheet_names()
   sh = wb.sheet_by_name(u'Sheet1')
   first_column = sh.col_values(15)
   start_urls = first_column
   handle_httpstatus_list = [404]

   def parse(self, response):
      item = abcspiderItem()
      item['url'] = response.url

Problem polega na tym, że adres URL jest przekierowywany do innego adresu URL (iw ten sposób daje coś innego w adresie URL odpowiedzi). Jak uzyskać oryginalny adres URL, który otrzymałem od programu Excel?