agora estou trabalhando em um webcrawler. Este deve analisar alguns sites específicos e me dar uma saída em um arquivo xml. Até este ponto, não há problema. O Crawler funciona e você pode personalizá-lo rapidamente através de um arquivo cfg. Eu uso o Jsoup para analisar o conteúdo HTML.

Acabei de adicionar mais alguns sites e notei que eu tenho um grande problema com o conteúdo HTML que é criado via JavaScript. Existe uma maneira de tornar o Jsoup compatível com Javascript? Ou, pelo menos, obter o conteúdo HTML completo que posso ver no meu navegador.

Eu já tentei o HtmlUnit, mas este não funcionou bem. Não me deu o conteúdo que gostaria de obter no meu navegador.

Atenciosamente,

Ogofo