Я пишу приложение для сканирования некоторых веб-сайтов и сбора данных с них. Для этого я использую Ruby, Curl и Nokogiri. В большинстве случаев это просто, и мне нужно только пропинговать URL и анализировать данные HTML. Настройка работает отлично.

Однако в некоторых сценариях веб-сайты извлекают данные на основе пользовательского ввода с некоторых переключателей. Это вызывает некоторый JavaScript, который получает некоторые данные с сервера. Сгенерированный URL и опубликованные данные определяются кодом JavaScript.

Можно ли использовать:

A JavaScript library along with this setup which would be able to determine execute the JavaScript in the HTML page for me?

Apart from using a different library, is there some integration or a way for the HTML and JS libraries to communicate? For instance if a button is clicked, Nokogiri needs to call JavaScript and then the JavaScript needs to update Nokogiri.

В случае, если мой подход не кажется лучшим, что бы вы посоветовали построить сканер + скребок в сети, используя Ruby.

РЕДАКТИРОВАТЬ: Похоже, точка 1 возможна с использованием therubyrace, поскольку он встраивает движок V8 в ваш код, но есть ли альтернатива 2?