Atualmente estou usando uma sopa bonita para analisar a página html. Mas, às vezes, o resultado obtido por find_all é menor que o número em páginas. Por exemplo, esta páginahttp://www.totallyfreestuff.com/index.asp?m=0&sb=1&p=5 tem 18 manchetes. Mas quando eu uso os seguintes códigos, só tenho dois! Alguém pode me dizer o porquê. Agradeço antecipadamente!

soup = BeautifulSoup(page, 'html.parser')
hrefDivList = soup.find_all("span", class_ = "headline")
#print hrefDivList
print len(hrefDivList)