Fiz uma pergunta que não acho clara. Já raspei com êxito as postagens de uma home page de sites. O próximo passo é seguir o link da postagem para a página de detalhes para que eu possa raspar o conteúdo dos detalhes. Este é o código que tentei modificar, mas não está funcionando. Lembre-se, eu sou um novato e estou usando isso em um aplicativo django.

def sprinkle():
    url_two = 'http://www.example.com'
    html = requests.get(url_two, headers=headers)
    soup = BeautifulSoup(html.text, 'html5lib')
    titles = soup.find_all('div', {'class': 'entry-pos-1'})

    entries = [{'href': url_two + div.a.get('href'),
                'comment': BeautifulSoup(url_two + div.a.get('href')).find_all('div', {'class': 'article-body'}),
                'src': url_two + div.a.img.get('data-original'),
                'text': div.find('p', 'entry-title').text,
                } for div in titles][:6]

    return entries

e na minha opinião

sp = sprinkle()

context = {
   "comment": sp
}

e no meu modelo

{% for s in sp %}
   {{s.comment}}
{% endfor %}

no html tudo o que mostra é

[]

os URLs que estou tentando raspar assim

http://www.example.com//article/218582/detail-art
http://www.example.com//article/218817/detail-science
http://www.example.com//article/218542/detail-theatre

como posso usar os links para ir para a página de detalhes e raspar os dados dessa página?