cómo obtener el start_url original en scrapy (antes de redirigir)
Estoy usando Scrapy para rastrear algunas páginas. Obtengo las start_urls de una hoja de Excel y necesito guardar la url en el elemento.
class abc_Spider(BaseSpider):
name = 'abc'
allowed_domains = ['abc.com']
wb = xlrd.open_workbook(path + '/somefile.xlsx')
wb.sheet_names()
sh = wb.sheet_by_name(u'Sheet1')
first_column = sh.col_values(15)
start_urls = first_column
handle_httpstatus_list = [404]
def parse(self, response):
item = abcspiderItem()
item['url'] = response.url
El problema es que la url se redirige a otra url (y por lo tanto da algo más en la url de respuesta). ¿Cómo obtengo la URL original que obtuve de Excel?