usando proxy com scrapy-splash
Estou tentando usar proxy (proxymesh) ao lado de scrapy-splash. Eu tenho o seguinte código (relevante)
PROXY = """splash:on_request(function(request)
request:set_proxy{
host = http://us-ny.proxymesh.com,
port = 31280,
username = username,
password = secretpass,
}
return splash:html()
end)"""
e em start_requests
def start_requests(self):
for url in self.start_urls:
print url
yield SplashRequest(url, self.parse,
endpoint='execute',
args={'wait': 5,
'lua_source': PROXY,
'js_source': 'document.body'},
Mas isso não parece funcionar. self.parse não é chamado. Se eu mudar o endpoint para 'render.html', clico no método self.parse, mas, quando inspeciono os cabeçalhos (response.headers), vejo que ele não está passando por proxy. Eu confirmei que quando eu definirhttp://checkip.dyndns.org/ como url inicial e vi, ao analisar a resposta, meu antigo endereço IP.
O que estou fazendo errado?