Duplicata Possível:
Várias conexões (assíncronas) com urllib2 ou outra biblioteca http?

Eu estou trabalhando em um servidor web Linux que executa o código Python para pegar dados em tempo real via HTTP de uma API de terceiros. Os dados são colocados em um banco de dados MySQL. Eu preciso fazer um monte de consultas para um monte de URL, e eu preciso fazer isso rápido (mais rápido = melhor). Atualmente estou usando o urllib3 como minha biblioteca HTTP. Qual é a melhor maneira de fazer isso? Devo gerar vários segmentos (em caso afirmativo, quantos?) E ter cada consulta para um URL diferente? Eu adoraria ouvir seus pensamentos sobre isso - obrigado!