Baixe uma página completa com scrapy
Quero baixar o conteúdo de uma página inteira usando scrapy.
Com selênio, isso é bastante fácil:
import os,sys
reload(sys)
sys.setdefaultencoding('utf8')
from selenium import webdriver
url = 'https://es.wikipedia.org/wiki/Python'
driver = webdriver.Firefox()
driver.get(url)
content = driver.page_source
with open('source','w') as output:
output.write(content)
Mas o selênio é muito mais lento que raspar.
É uma maneira simples de fazer scrapy?
Quero salvar o código de cada página em um texto de arquivo diferente, não como um arquivo CSV ou JSON. Além disso, se possível sem criar um projeto, o que parece um pouco exagerado para uma tarefa tão simples.