Python самый быстрый способ чтения большого текстового файла (несколько ГБ) [дубликаты]
На этот вопрос уже есть ответ:
Как читать большой файл построчно в Python 10 ответовменя большой текстовый файл (~ 7 ГБ). Я смотрю, существует ли самый быстрый способ чтения большого текстового файла. Я читал об использовании нескольких подходов как чтение по частям, чтобы ускорить процесс.
на примере Effbot предложит
# File: readline-example-3.py
file = open("sample.txt")
while 1:
lines = file.readlines(100000)
if not lines:
break
for line in lines:
pass # do something**strong text**
для обработки 96 900 строк текста в секунду. Другиеавтор предлагаю использовать islice ()
from itertools import islice
with open(...) as f:
while True:
next_n_lines = list(islice(f, n))
if not next_n_lines:
break
# process next_n_lines
list(islice(f, n))
вернет список следующихn
строки файлаf
. Использование этого в цикле даст вам файл кускамиn
линии