Вы должны попробовать использовать плагин Python Selen. Требуется скачать драйвер для любого браузера, который вы используете. После этого вы сможете использовать селен для извлечения значений из HTML
аюсь извлечь эти данные (число) для многих страниц из HTML. Данные разные для каждой страницы. Когда я пытаюсь использовать soup.select ('span [class = "pull-right"]'), он должен дать мне номер, но приходит только тег. Я считаю, что это потому, что Javascript используется на веб-странице. 180 476 - это позиция данных в этом конкретном HTML, который я хочу для многих страниц:
<div class="legend-block--body">
<div class="linear-legend--counts">
Pageviews:
<span class="pull-right">
180,476
</span>
</div>
<div class="linear-legend--counts">
Daily average:
<span class="pull-right">
8,594
</span>
</div></div>
Мой код (это цикл для работы на многих страницах):
res = requests.get(wiki_page, timeout =None)
soup = bs4.BeautifulSoup(res.text, 'html.parser')
ab=soup.select('span[class="pull-right"]')
print(ab)
выход:
[<span class="pull-right">\n<label class="logarithmic-scale">\n<input
class="logarithmic-scale-option" type="checkbox"/>\n Logarithmic scale
</label>\n</span>, <span class="pull-right">\n<label class="begin-at-
zero">\n<input class="begin-at-zero-option" type="checkbox"/>\n Begin at
zero </label>\n</span>, <span class="pull-right">\n<label class="show-
labels">\n<input class="show-labels-option" type="checkbox"/>\n Show
values </label>\n</span>]
Я хочу просмотров страниц