Estoy tratando de raspar esta página con scrapy:

http://www.barnesandnoble.com/s?dref=4815&sort=SA&startat=7391

y la respuesta que recibo es diferente a la que veo en el navegador. La respuesta del navegador tiene la página correcta, mientras que la respuesta de rechazo es:

http://www.barnesandnoble.com/s?dref=4815&sort=SA&startat=1

página. He intentado con urllib2 pero todavía tengo el mismo problema. Cualquier ayuda es muy apreciada.