Quiero scrapy para rastrear páginas donde pasar al siguiente enlace se ve así:

<a href="#" onclick="return gotoPage('2');"> Next </a>

¿Scrapy podrá interpretar el código JavaScript de eso?

Conlivehttpheaders extensión descubrí que al hacer clic en Siguiente se genera una POST con una gran pieza de "basura" que comienza así:

encoded_session_hidden_map=H4sIAAAAAAAAALWZXWwj1RXHJ9n

Estoy tratando de construir mi araña en elCrawlSpider clase, pero realmente no puedo entender cómo codificarlo, conBaseSpider Usé elparse() método para procesar la primera URL, que resulta ser un formulario de inicio de sesión, donde hice una POST con:

def logon(self, response):
    login_form_data={ 'email': '[email protected]', 'password': 'mypass22', 'action': 'sign-in' }
    return [FormRequest.from_response(response, formnumber=0, formdata=login_form_data, callback=self.submit_next)]

Y luego definí submit_next () para decir qué hacer a continuación. No puedo entender cómo le digo a CrawlSpider qué método usar en la primera URL.

Todas las solicitudes en mi rastreo, excepto la primera, son solicitudes POST. Están alternando dos tipos de solicitudes: pegar algunos datos y hacer clic en "Siguiente" para ir a la página siguiente.