Ограничение количества процессов в многопроцессорном питоне

Мое требование заключается в созданииhundreds of HTTP POST requests per second, Я делаю это используяurllib2.

def send():
    req = urllib2.Request(url)
    req.add_data(data)
    response = urllib2.urlopen(req)

while datetime.datetime.now() <= ftime:
    p=Process(target=send, args=[])
    p.start()
    time.sleep(0.001)

Проблема в этом кодеsometimes for some iterations генерирует одно из следующих исключений:

HTTP 503 Service Unavailable.
URLError: <urlopen error [Errno -2] Name or service not known>

Я пытался использоватьrequests(HTTP for humans) но у меня возникли проблемы с прокси с этим модулем. Похоже наrequests отправляет http-пакеты на прокси-сервер, даже если целевой компьютер находится в той же локальной сети. Я не хочу, чтобы пакеты отправлялись на прокси-сервер.

Ответы на вопрос(1)

Ваш ответ на вопрос