Я пытаюсь отправить информацию, извлеченную из строк большого файла, процессу, запущенному на каком-либо сервере.

Чтобы ускорить это, я хотел бы сделать это с некоторыми потоками параллельно.

Использование Python 2.7 backport изconcurrent.futures Я попробовал это:

f = open("big_file")
with ThreadPoolExecutor(max_workers=4) as e:
    for line in f:
        e.submit(send_line_function, line)
f.close()

Однако это проблематично, потому что все фьючерсы отправляются мгновенно, так что моей машине не хватает памяти, потому что весь файл загружается в память.

У меня вопрос: есть ли простой способ представить новое будущее, только когда есть свободный работник?