Me gustaría escribir un script de raspado para recuperar comentarios de artículos de CNN. Por ejemplo, este artículo:http: //www.cnn.com/2012/01/19/politics/gop-debate/index.html? hpt = hp_t1

Me doy cuenta de que cnn usa disqus para su discusión de comentarios. Como la carga de comentarios no se basa en la página web (es decir, página anterior, página siguiente) y es dinámica (es decir, es necesario hacer clic en "cargar los próximos 25"), no tengo idea de cómo recuperar todos los más de 5000 comentarios para este artículo. @

¿Alguna idea o sugerencia?

¡Muchas gracias