Предполагая, что «пакетный» означает, что нужно обрабатывать все 16 записей одновременно, а не по отдельности, считывать файл по одной записи за раз и обновлять счетчик; когда счетчик достигнет 16, обработайте эту группу.
у код для одновременной обработки N строк из огромного текстового файла (несколько ГБ), обработки этого пакета и перехода к следующим N строкам, пока я не завершу весь файл. (Мне все равно, если последняя партия не идеальный размер).
Я читал об использовании itertools islice для этой операции. Я думаю, что я на полпути там:
from itertools import islice
N = 16
infile = open("my_very_large_text_file", "r")
lines_gen = islice(infile, N)
for lines in lines_gen:
...process my lines...
Проблема в том, что я хотел бы обработать следующую партию из 16 строк, но мне чего-то не хватает