Esta pregunta ya tiene una respuesta aquí:

Tengo un archivo de texto grande (~ 7 GB). Estoy buscando si existe la forma más rápida de leer archivos de texto grandes. He estado leyendo sobre el uso de varios enfoques como leer trozo por trozo para acelerar el proceso.

at ejemplo effbot sugerir

# File: readline-example-3.py

file = open("sample.txt")

while 1:
    lines = file.readlines(100000)
    if not lines:
        break
    for line in lines:
        pass # do something**strong text**

para procesar 96.900 líneas de texto por segundo. Otro autores sugiere utilizar islice ()

from itertools import islice

with open(...) as f:
    while True:
        next_n_lines = list(islice(f, n))
        if not next_n_lines:
            break
        # process next_n_lines

list(islice(f, n)) devolverá una lista de las próximasn líneas del archivof. Usar esto dentro de un bucle le dará el archivo en fragmentos den línea