Ограничение количества процессов в многопроцессорном питоне
Мое требование заключается в созданииhundreds of HTTP POST requests per second
, Я делаю это используяurllib2
.
def send():
req = urllib2.Request(url)
req.add_data(data)
response = urllib2.urlopen(req)
while datetime.datetime.now() <= ftime:
p=Process(target=send, args=[])
p.start()
time.sleep(0.001)
Проблема в этом кодеsometimes for some iterations
генерирует одно из следующих исключений:
HTTP 503 Service Unavailable.
URLError: <urlopen error [Errno -2] Name or service not known>
Я пытался использоватьrequests(HTTP for humans)
но у меня возникли проблемы с прокси с этим модулем. Похоже наrequests
отправляет http-пакеты на прокси-сервер, даже если целевой компьютер находится в той же локальной сети. Я не хочу, чтобы пакеты отправлялись на прокси-сервер.