Eu sou um iniciante a rastejar. Eu tenho um requisito para buscar as postagens e comentários de um link. Eu quero automatizar esse processo. Eu considerei o uso de webcrawler e jsoup para isso, mas foi dito que os webcrawlers são usados ​​principalmente para sites com maior profundidade.

Amostra para uma página: site da comunidade Jive

Para esta página, quando vejo a origem da página, posso ver apenas a postagem e não os comentários. Pense que isso ocorre porque os comentários são buscados por meio de uma chamada AJAX para o servidor.

Portanto, quando eu uso o jsoup, ele não busca os comentários.

Então, como posso automatizar o processo de busca de posts e comentários?