Piszę aplikację, która indeksuje niektóre witryny i zapisuje z nich dane. W tym celu używam Ruby, Curl i Nokogiri. W większości przypadków jest to proste i muszę tylko pingować adres URL i analizować dane HTML. Konfiguracja działa doskonale.

Jednak w niektórych scenariuszach strony internetowe pobierają dane na podstawie danych wprowadzonych przez użytkownika na niektórych przyciskach radiowych. To wywołuje JavaScript, który pobiera więcej danych z serwera. Wygenerowany adres URL i opublikowane dane są określane przez kod JavaScript.

Czy można użyć:

Biblioteka JavaScript wraz z tą konfiguracją, która byłaby w stanie określić dla mnie wykonanie kodu JavaScript na stronie HTML?

Czy oprócz korzystania z innej biblioteki, istnieje także integracja lub sposób na komunikowanie się bibliotek HTML i JS? Na przykład po kliknięciu przycisku Nokogiri musi wywołać JavaScript, a następnie JavaScript musi zaktualizować Nokogiri.

W przypadku, gdy moje podejście nie wydaje się najlepsze, co byś sugerował, aby zbudować robota + skrobak w sieci za pomocą Rubiego.

EDYCJA: Wygląda na to, że punkt 1 jest możliwy przy użyciu therubyrace, ponieważ osadza silnik V8 w kodzie, ale czy istnieje alternatywa dla 2?