Estoy escribiendo un código para tomar un enorme archivo de texto (varias GB) N líneas a la vez, procesar ese lote y pasar a las siguientes N líneas hasta que haya completado todo el archivo. (No me importa si el último lote no tiene el tamaño perfecto).

He estado leyendo sobre el uso de itertools islice para esta operación. Creo que estoy a medio camino:

from itertools import islice
N = 16
infile = open("my_very_large_text_file", "r")
lines_gen = islice(infile, N)

for lines in lines_gen:
     ...process my lines...

El problema es que me gustaría procesar el próximo lote de 16 líneas, pero me falta algo