работал как шарм, спасибо мужик
аюсь использовать прокси (proxymesh) наряду с scrapy-splash. У меня есть следующий (соответствующий) код
PROXY = """splash:on_request(function(request)
request:set_proxy{
host = http://us-ny.proxymesh.com,
port = 31280,
username = username,
password = secretpass,
}
return splash:html()
end)"""
и в start_requests
def start_requests(self):
for url in self.start_urls:
print url
yield SplashRequest(url, self.parse,
endpoint='execute',
args={'wait': 5,
'lua_source': PROXY,
'js_source': 'document.body'},
Но это не похоже на работу. self.parse не вызывается вообще. Если я изменяю конечную точку на 'render.html', я включаю метод self.parse, но когда я проверяю заголовки (response.headers), я вижу, что он не проходит через прокси. Я подтвердил, что когда я установилhttp://checkip.dyndns.org/ как начальный URL-адрес и увидел, после анализа ответа, мой старый IP-адрес.
Что я делаю неправильно?