Scrapy: Extrair links e texto
Eu sou novo no scrapy e estou tentando raspar a página do site da Ikea. A página básica com a lista de locais, conforme indicadoaqui.
Minhasitems.py arquivo é dado abaixo:
import scrapy
class IkeaItem(scrapy.Item):
name = scrapy.Field()
link = scrapy.Field()
E aaranha é dado abaixo:
import scrapy
from ikea.items import IkeaItem
class IkeaSpider(scrapy.Spider):
name = 'ikea'
allowed_domains = ['http://www.ikea.com/']
start_urls = ['http://www.ikea.com/']
def parse(self, response):
for sel in response.xpath('//tr/td/a'):
item = IkeaItem()
item['name'] = sel.xpath('a/text()').extract()
item['link'] = sel.xpath('a/@href').extract()
yield item
Ao executar o arquivo, não estou obtendo nenhuma saída. A saída do arquivo json é algo como:
[[{"link": [], "name": []}
A saída que estou procurando é o nome do local e o link. Eu não estou recebendo nada. Onde eu estou errando?