Вы должны попробовать использовать плагин Python Selen. Требуется скачать драйвер для любого браузера, который вы используете. После этого вы сможете использовать селен для извлечения значений из HTML

аюсь извлечь эти данные (число) для многих страниц из HTML. Данные разные для каждой страницы. Когда я пытаюсь использовать soup.select ('span [class = "pull-right"]'), он должен дать мне номер, но приходит только тег. Я считаю, что это потому, что Javascript используется на веб-странице. 180 476 - это позиция данных в этом конкретном HTML, который я хочу для многих страниц:

<div class="legend-block--body">
        <div class="linear-legend--counts">
          Pageviews:
          <span class="pull-right">
            180,476
          </span>
        </div>
        <div class="linear-legend--counts">
          Daily average:
          <span class="pull-right">
            8,594
          </span>
        </div></div>

Мой код (это цикл для работы на многих страницах):

res = requests.get(wiki_page, timeout =None)
soup = bs4.BeautifulSoup(res.text, 'html.parser')
ab=soup.select('span[class="pull-right"]')
print(ab)

выход:

[<span class="pull-right">\n<label class="logarithmic-scale">\n<input 
class="logarithmic-scale-option" type="checkbox"/>\n        Logarithmic scale      
</label>\n</span>, <span class="pull-right">\n<label class="begin-at- 
zero">\n<input class="begin-at-zero-option" type="checkbox"/>\n        Begin at 
zero      </label>\n</span>, <span class="pull-right">\n<label class="show- 
labels">\n<input class="show-labels-option" type="checkbox"/>\n        Show 
values      </label>\n</span>]

Пример URL:https://tools.wmflabs.org/pageviews/?project=en.wikipedia.org&platform=all-access&agent=user&range=latest-20&pages=Star_Wars:_The_Last_Jedi

Я хочу просмотров страниц