Raspando com Scrapy e Selênio
Eu tenho um spider scrapy que rastreia um site que recarrega o conteúdo via javascript na página. A fim de passar para a próxima página para raspar, eu tenho usado o Selenium para clicar no link do mês no topo do site.
O problema é que, mesmo que meu código passe por cada link conforme o esperado, a aranha apenas recolhe os dados do primeiro mês (setembro) para o número de meses e retorna esses dados duplicados.
Como posso resolver isso?
from selenium import webdriver
class GigsInScotlandMain(InitSpider):
name = 'gigsinscotlandmain'
allowed_domains = ["gigsinscotland.com"]
start_urls = ["http://www.gigsinscotland.com"]
def __init__(self):
InitSpider.__init__(self)
self.br = webdriver.Firefox()
def parse(self, response):
hxs = HtmlXPathSelector(response)
self.br.get(response.url)
time.sleep(2.5)
# Get the string for each month on the page.
months = hxs.select("//ul[@id='gigsMonths']/li/a/text()").extract()
for month in months:
link = self.br.find_element_by_link_text(month)
link.click()
time.sleep(5)
# Get all the divs containing info to be scraped.
listitems = hxs.select("//div[@class='listItem']")
for listitem in listitems:
item = GigsInScotlandMainItem()
item['artist'] = listitem.select("div[contains(@class, 'artistBlock')]/div[@class='artistdiv']/span[@class='artistname']/a/text()").extract()
#
# Get other data ...
#
yield item