Selenium занимает много времени, чтобы получить динамическую страницу с заданным URL
Я делаю проект вДжава, В этом проекте мне приходится работать с DOM. Для этого я сначала загружаю динамическую страницу с любым заданным URL, используя Selenium. Затем я анализирую их с помощью Jsoup.
Я хочу получить динамический исходный код страницы данного URL
Снимок кода:
public static void main(String[] args) throws IOException {
// Selenium
WebDriver driver = new FirefoxDriver();
driver.get("ANY URL HERE");
String html_content = driver.getPageSource();
driver.close();
// Jsoup makes DOM here by parsing HTML content
Document doc = Jsoup.parse(html_content);
// OPERATIONS USING DOM TREE
}
Но проблема в том, что Selenium занимает около 95% всего времени обработки, что нежелательно.
Selenium сначала открывает Firefox, затем загружает данную страницу, а затем получает динамический исходный код страницы.
Можете ли вы сказать мне, как я могу сократить время, затрачиваемое Selenium, заменив этот инструмент другим эффективным инструментом. Любой другой совет также будет приветствоваться.
Изменить № 1
На этом приведен кодссылка на сайт.
FirefoxProfile profile = new FirefoxProfile();
profile.setPreference("general.useragent.override", "some UA string");
WebDriver driver = new FirefoxDriver(profile);
Но что здесь вторая строка, я неТ понять. В документации тоже очень мало селена.
Редакция № 2
System.out.println (»Загрузка% s ... " + url1); System.out.println (»Загрузка% s ... " + url2);
WebDriver driver = new FirefoxDriver(createFirefoxProfile());
driver.get("url1");
String hml1 = driver.getPageSource();
driver.get("url2");
String hml2 = driver.getPageSource();
driver.close();
Document doc1 = Jsoup.parse(hml1);
Document doc2 = Jsoup.parse(hml2);