Eu sou muito novo em tudo isso; Preciso obter dados sobre vários milhares de projetos sourceforge para um artigo que estou escrevendo. Os dados estão disponíveis gratuitamente no formato json no URL http://sourceforge.net/api/project/name/[project name] / json. Eu tenho uma lista de vários milhares desses URLs e estou usando o código a seguir.

import grequests
rs = (grequests.get(u) for u in ulist)
answers = grequests.map(rs)

Usando esse código, sou capaz de obter os dados de mais ou menos 200 projetos que eu gosto, ou seja,rs = (grequests.get(u) for u in ulist[0:199]) funciona, mas assim que eu reviso isso, todas as tentativas são cumpridas

ConnectionError: HTTPConnectionPool(host='sourceforge.net', port=80): Max retries exceeded with url: /api/project/name/p2p-fs/json (Caused by <class 'socket.gaierror'>: [Errno 8] nodename nor servname provided, or not known)
<Greenlet at 0x109b790f0: <bound method AsyncRequest.send of <grequests.AsyncRequest object at 0x10999ef50>>(stream=False)> failed with ConnectionError

Sou incapaz de fazer mais solicitações até sair do python, mas assim que eu reiniciar o python, posso fazer mais 200 solicitações.

Eu tentei usargrequests.map(rs,size=200) mas isso parece não fazer nada.