Antes de construir una solución completa a mi problema usando Scrapy, estoy publicando una versión simplista de lo que quiero hacer:

import requests

url = 'http://www.whoscored.com/stageplayerstatfeed/?field=1&isAscending=false&orderBy=Rating&playerId=-1&stageId=9155&teamId=32"'

params = {'d': date.strftime('%Y%m'), 'isAggregate': 'false'}
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36'}

response = requests.get(url, params=params, headers=headers)

fixtures = response.body
#fixtures = literal_eval(response.content)
print fixtures 

Este código dice que la URL anterior no existe. La URL se relaciona con una solicitud XHR que se envía al alternar desde la pestaña 'General' a la pestaña 'Inicio' de la tabla principal de esta página:

http://www.whoscored.com/Teams/32/

Si activa el registro XHR dentro de la Consola de Herramientas para desarrolladores de Google, puede ver tanto la solicitud XHR como la respuesta enviada desde el servidor en forma de diccionario (que es el formato esperado).

¿Alguien puede decirme por qué el código anterior no devuelve los datos que esperaría ver?

Gracias