Raspado web de datos dinámicos con Python, BeautifulSoup
Estoy tratando de extraer estos datos (número) para muchas páginas del HTML. Los datos son diferentes para cada página. Cuando trato de usar soup.select ('span [class = "pull-right"]') debería darme el número, pero solo aparece la etiqueta. Creo que es porque se usa Javascript en la página web. 180,476 es la posición de los datos en este HTML específico que quiero para muchas páginas:
<div class="legend-block--body">
<div class="linear-legend--counts">
Pageviews:
<span class="pull-right">
180,476
</span>
</div>
<div class="linear-legend--counts">
Daily average:
<span class="pull-right">
8,594
</span>
</div></div>
Mi código (esto está en un bucle que funciona para muchas páginas):
res = requests.get(wiki_page, timeout =None)
soup = bs4.BeautifulSoup(res.text, 'html.parser')
ab=soup.select('span[class="pull-right"]')
print(ab)
salida
[<span class="pull-right">\n<label class="logarithmic-scale">\n<input
class="logarithmic-scale-option" type="checkbox"/>\n Logarithmic scale
</label>\n</span>, <span class="pull-right">\n<label class="begin-at-
zero">\n<input class="begin-at-zero-option" type="checkbox"/>\n Begin at
zero </label>\n</span>, <span class="pull-right">\n<label class="show-
labels">\n<input class="show-labels-option" type="checkbox"/>\n Show
values </label>\n</span>]
Quiero las vistas de página