Tengo un programa escrito para raspar el código fuente de una página web después de hacer clic en un botón. No puedo raspar la página correcta porque creo que se está enviando una solicitud AJAX, y no estoy esperando a que se realice esta respuesta. Mi código es actualmente:

public class Htmlunitscraper { 

  private static String s = "http://cpdocket.cp.cuyahogacounty.us/SheriffSearch/results.aspx?q=searchType%3dSaleDate%26searchString%3d10%2f21%2f2013%26foreclosureType%3d%27NONT%27%2c+%27PAR%27%2c+%27COMM%27%2c+%27TXLN%27";

  public static String scrapeWebsite() throws IOException {

    java.util.logging.Logger.getLogger("com.gargoylesoftware").setLevel(Level.OFF); 
System.setProperty("org.apache.commons.logging.Log", "org.apache.commons.logging.impl.NoOpLog");

    final WebClient webClient = new WebClient();
    final HtmlPage page = webClient.getPage(s);
    final HtmlForm form = page.getForms().get(2);
    final HtmlSubmitInput button = form.getInputByValue(">");
    final HtmlPage page2 = button.click();
    String originalHtml = page2.refresh().getWebResponse().getContentAsString();
    return originalHtml;
  }
}

Después de referirse a estoenlazar, Creo que para solucionar este problema pude implementar el método "webClient.waitForBackgroundJavaScript (10000)". El único problema es que no entiendo cómo hacerlo porque cada vez que hago clic en el botón creo un objeto HtmlPage, no un objeto WebClient. ¿Cómo podría incorporar este método para solucionar el problema?