To pytanie ma już odpowiedź tutaj:

Mam duży plik tekstowy (~ 7 GB). Szukam, jeśli istnieje najszybszy sposób na odczytanie dużego pliku tekstowego. Czytałem o używaniu kilku metod jako fragment po kawałku w celu przyspieszenia procesu.

na przykład effbot sugeruj

# File: readline-example-3.py

file = open("sample.txt")

while 1:
    lines = file.readlines(100000)
    if not lines:
        break
    for line in lines:
        pass # do something**strong text**

w celu przetworzenia 96,900 linii tekstu na sekundę. Innyautorsk zaproponuj użycie islice ()

from itertools import islice

with open(...) as f:
    while True:
        next_n_lines = list(islice(f, n))
        if not next_n_lines:
            break
        # process next_n_lines

list(islice(f, n)) zwróci listę następnychn wierszy plikuf. Użycie tego w pętli da plik w częściachn linie