Próbuję wysłać informacje wyodrębnione z linii dużego pliku do procesu uruchomionego na jakimś serwerze.

Aby to przyspieszyć, chciałbym to zrobić równolegle z niektórymi wątkami.

Korzystanie z backportu Pythona 2.7concurrent.futures Próbowałem tego:

f = open("big_file")
with ThreadPoolExecutor(max_workers=4) as e:
    for line in f:
        e.submit(send_line_function, line)
f.close()

Jest to jednak problematyczne, ponieważ wszystkie kontrakty terminowe są przesyłane natychmiast, więc w mojej maszynie zabraknie pamięci, ponieważ cały plik zostanie załadowany do pamięci.

Moje pytanie brzmi, czy istnieje prosty sposób na przedstawienie nowej przyszłości, gdy dostępny jest wolny pracownik.