Estive aprendendo Python recentemente e estou mergulhando minha mão na criação de um raspador da Web. Não é nada chique; seu único objetivo é obter os dados de um site de apostas e colocá-los no Excel.

A maioria dos problemas é solucionável e estou tendo uma boa bagunça. No entanto, estou enfrentando um grande obstáculo em relação a um problema. Se um site carrega uma tabela de cavalos e lista os preços atuais das apostas, essas informações não estão em nenhum arquivo de origem. A pista é que esses dados estão ativos algumas vezes, com os números sendo atualizados obviamente de algum servidor remoto. O HTML no meu PC simplesmente tem um buraco no qual seus servidores estão enviando todos os dados interessantes que eu precis

Agora, minha experiência com conteúdo dinâmico da Web é baixa, então é algo que estou tendo problemas para entender o assunto.

Acho que Java ou Javascript é uma chave, isso aparece com frequênci

O raspador é simplesmente um mecanismo de comparação de probabilidades. Alguns sites têm APIs, mas eu preciso disso para aqueles que não têm. Estou usando a biblioteca scrapy com Python 2.7

Peço desculpas se esta pergunta for muito aberta. Em resumo, minha pergunta é: como o raspador pode ser usado para raspar esses dados dinâmicos para que eu possa usá-los? Para que eu possa raspar esses dados de probabilidades de apostas em tempo real?