Я новичок в ползании. У меня есть требование получать сообщения и комментарии по ссылке. Я хочу автоматизировать этот процесс. Я подумал об использовании webcrawler и jsoup для этого, но мне сказали, что webcrawlers в основном используются для сайтов с большей глубиной.

Пример страницы: сайт сообщества Jive

Для этой страницы, когда я просматриваю источник страницы, я вижу только пост, а не комментарии. Думаю, это потому, что комментарии выбираются через AJAX-вызов на сервер.

Следовательно, когда я использую jsoup, он не получает комментарии.

Итак, как я могу автоматизировать процесс получения постов и комментариев?