Соскреб в Интернете - как получить доступ к содержимому, отображаемому в JavaScript через Angular.js?
Я пытаюсь почистить данные с публичного сайтаasx.com.au
Страницаhttp://www.asx.com.au/asx/research/company.do#!/ACB/details содержитdiv
с классом 'view-content', в котором есть нужная мне информация:
Но когда я пытаюсь просмотреть эту страницу через Pythonurllib2.urlopen
этот div пуст:
import urllib2
from bs4 import BeautifulSoup
url = 'http://www.asx.com.au/asx/research/company.do#!/ACB/details'
page = urllib2.urlopen(url).read()
soup = BeautifulSoup(page, "html.parser")
contentDiv = soup.find("div", {"class": "view-content"})
print(contentDiv)
# the results is an empty div:
# <div class="view-content" ui-view=""></div>
Можно ли получить доступ к содержимому этого div программно?
Редактировать: согласно комментарию, кажется, что контент отображается черезAngular.js
, Можно ли запустить рендеринг этого контента через Python?