Estou escrevendo um código para obter um enorme número de linhas de arquivo de texto (vários GB) N por vez, processar esse lote e passar para as próximas N linhas até concluir o arquivo inteiro. (Não me importo se o último lote não tiver o tamanho perfeito).

Estive lendo sobre o uso do itertools islice para esta operação. Eu acho que estou no meio do caminho:

from itertools import islice
N = 16
infile = open("my_very_large_text_file", "r")
lines_gen = islice(infile, N)

for lines in lines_gen:
     ...process my lines...

O problema é que eu gostaria de processar o próximo lote de 16 linhas, mas estou perdendo algo