Eu estou tentando raspar um site usando python e sopa bonita. Eu encontrei que em alguns sites, os links de imagens, embora vistos no navegador, não podem ser vistos no código-fonte. No entanto, ao usar o Chrome Inspecionar ou o Fiddler, podemos ver os códigos correspondentes. O que eu vejo no código fonte é:

<div id="cntnt"></div>

Mas no Chrome Inspecionar, vejo um monte de código HTML \ CSS gerado nesta classe div. Existe uma maneira de carregar o conteúdo gerado também em python? Eu estou usando o urllib regular em python e eu sou capaz de obter a fonte, mas sem a parte gerada.

Eu não sou um desenvolvedor web, portanto, não sou capaz de expressar o comportamento em melhores condições. Por favor, sinta-se à vontade para esclarecer se a minha pergunta parece vaga!