Análisis de un archivo de texto grande (20 GB) con python: lectura en 2 líneas como 1

Estoy analizando un archivo de 20 Gb y las líneas de salida que cumplen una determinada condición con otro archivo, sin embargo, en ocasiones, Python leerá 2 líneas a la vez y las concatenará.

<code>inputFileHandle = open(inputFileName, 'r')

row = 0

for line in inputFileHandle:
    row =  row + 1
    if line_meets_condition:
        outputFileHandle.write(line)
    else:
        lstIgnoredRows.append(row)
</code>

He comprobado los finales de línea en el archivo fuente y se verifican como avances de línea (ascii char 10). Sacar las filas problemáticas y analizarlas de forma aislada funciona como se esperaba. ¿Estoy golpeando alguna limitación de python aquí? La posición en el archivo de la primera anomalía es alrededor de la marca de 4GB.

Respuestas a la pregunta(2)

Su respuesta a la pregunta