Actualmente estoy escribiendo una aplicación para Android que, entre otras cosas, utiliza información de texto de sitios web que no tengo. Además, algunas de las páginas requieren autenticación.

Para algunas páginas he podido iniciar sesión y recuperar el código html usando BasicNameValuePairs y un HTTPClient con sus objetos asociados.

Desafortunadamente, estos métodos recuperan la fuente de la página web sin ejecutar ninguna función de javascript que normalmente ejecutaría un navegador (incluso con la vista web de Android). Necesito el texto que algunos de estos scripts están recuperando.

He hecho mi investigación, pero todo lo que he encontrado es conjeturas y extremadamente confuso. Estoy de acuerdo con ignorar las páginas que requieren inicio de sesión por ahora. Además, estoy dispuesto a publicar cualquier código que pueda ser útil para construir una solución; Es un proyecto independiente.

¿Soluciones concretas para raspar el resultado html de las llamadas de javascript? Un ejemplo sería absolutamente de primera categoría.