Cómo raspar páginas que tienen carga lenta

Aquí está el código que utilicé para analizar la página web. Lo hice en la consola de rails. Pero no obtengo ningún resultado en mi consola de rails. El sitio que quiero raspar tiene una carga lenta

require 'nokogiri'
require 'open-uri'

page = 1
while true
  url =  "http://www.justdial.com/functions"+"/ajxsearch.php?national_search=0&act=pagination&city=Delhi+%2F+NCR&search=Pandits"+"&where=Delhi+Cantt&catid=1195&psearch=&prid=&page=#{page}"


  doc = Nokogiri::HTML(open(url))
  doc = Nokogiri::HTML(doc.at_css('#ajax').text)
  d = doc.css(".rslwrp")
  d.each do |t|
     puts t.css(".jrcw").text
     puts t.css("span.jcn").text
     puts t.css(".jaid").text
     puts t.css(".estd").text
    page+=1
  end
end

Respuestas a la pregunta(1)

Su respuesta a la pregunta