Scrapy: почему у моего объекта ответа нет метода body_as_unicode?
Я написал паука, который работал блестяще в первый раз. Во второй раз, когда я пытался запустить его, это нене рискну заstart_urls
, Я пыталсяfetch
URL вscrapy shell
и создатьHtmlXPathSelector
объект из возвращенного ответа. Вот когда я получил ошибку
Итак, шаги были: `
[scrapy shell] fetch('http://example.com') #its something other than example.
[scrapy shell] from scrapy.selector import HtmlXPathSelector
[scrapy shell] hxs = HtmlXPathSelector(response)
---------------------------------------------------------------------------
Проследить:
AttributeError Traceback (most recent call last)
in ()
----> 1 HtmlXPathSelector(response)
/home/codefreak/project-r42catalog/env-r42catalog/lib/python2.7/site-packages/scrapy/selector/lxmlsel.pyc in __init__(self, response, text, namespaces, _root, _expr)
29 body=unicode_to_str(text, 'utf-8'), encoding='utf-8')
30 if response is not None:
---> 31 _root = LxmlDocument(response, self._parser)
32
33 self.namespaces = namespaces
/home/codefreak/project-r42catalog/env-r42catalog/lib/python2.7/site-packages/scrapy/selector/lxmldocument.pyc in __new__(cls, response, parser)
25 if parser not in cache:
26 obj = object_ref.__new__(cls)
---> 27 cache[parser] = _factory(response, parser)
28 return cache[parser]
29
/home/codefreak/project-r42catalog/env-r42catalog/lib/python2.7/site-packages/scrapy/selector/lxmldocument.pyc in _factory(response, parser_cls)
11 def _factory(response, parser_cls):
12 url = response.url
---> 13 body = response.body_as_unicode().strip().encode('utf8') or ''
14 parser = parser_cls(recover=True, encoding='utf8')
15 return etree.fromstring(body, parser=parser, base_url=url)
Ошибка:
AttributeError: 'Response' object has no attribute 'body_as_unicode'
Я пропускаю что-то очень очевидное или наткнулся на ошибку в скрапе?