Estoy en el proceso de piratear una aplicación web que utiliza un extenso raspado de pantalla en node.js. Siento que estoy luchando contra la corriente en cada esquina. Debe haber una manera más fácil de hacer esto. En particular, dos cosas son irritantes:

Propagación de cookies. Puedo extraer la matriz 'set-cookie' de los encabezados de respuesta, pero realizar operaciones de cadena para analizar las cookies fuera de la matriz se siente extremadamente hack.

Redirect siguiente. Quiero que cada solicitud siga los redireccionamientos cuando se devuelva un código de estado 302.

Me encontré con dos cosas quemir útil, pero al final no pude usar:

http: //zombie.labnotes.org, pero no tiene soporte HTTPS, así que no puedo usarlo.

http: //www.phantomjs.org, pero no pudo usarlo porque no parece (parece) integrarse con node.js. También es bastante pesado para lo que estoy haciendo.

¿Hay bibliotecas JavaScript de screencraping esque que propaguen cookies, sigan redireccionamientos y admitan HTTPS? ¿Alguna sugerencia sobre cómo hacer esto más fácil?