Robię projekt wJawa. W tym projekcie muszę pracować z DOM. Do tego najpierw ładuję dynamiczną stronę dowolnego adresu URL, używając Selenium. Następnie analizuję je za pomocą Jsoup.

Chcę uzyskać dynamiczny kod źródłowy strony dla danego adresu URL

Migawka kodu:

public static void main(String[] args) throws IOException {

     // Selenium
     WebDriver driver = new FirefoxDriver();
     driver.get("ANY URL HERE");  
     String html_content = driver.getPageSource();
     driver.close();

     // Jsoup makes DOM here by parsing HTML content
     Document doc = Jsoup.parse(html_content);

     // OPERATIONS USING DOM TREE
}

Ale problem polega na tym, że selen zajmuje około 95% całego czasu przetwarzania, co jest niepożądane.

Selenium najpierw otwiera Firefoksa, a następnie ładuje daną stronę, a następnie pobiera dynamiczny kod źródłowy strony.

Czy możesz mi powiedzieć, jak mogę skrócić czas potrzebny Selenium, zastępując to narzędzie innym wydajnym narzędziem. Wszelkie inne porady byłyby również mile widziane.

Edytuj NIE. 1

Podano na niej jakiś kodpołączyć.

FirefoxProfile profile = new FirefoxProfile();
profile.setPreference("general.useragent.override", "some UA string");
WebDriver driver = new FirefoxDriver(profile);

Ale co to jest druga linia tutaj, nie zrozumiałem. Ponieważ dokumentacja jest również bardzo uboga w selen.

Edytuj nr 2

System.out.println („Pobieranie% s ...” + url1); System.out.println („Pobieranie% s ...” + url2);

    WebDriver driver = new FirefoxDriver(createFirefoxProfile());

    driver.get("url1");  
    String hml1 = driver.getPageSource();

    driver.get("url2");
    String hml2 = driver.getPageSource();
    driver.close();

    Document doc1 = Jsoup.parse(hml1);
    Document doc2 = Jsoup.parse(hml2);