Ich analysiere eine 20-GB-Datei und gebe Zeilen, die eine bestimmte Bedingung erfüllen, in eine andere Datei aus. Gelegentlich liest Python jedoch 2 Zeilen auf einmal ein und verkettet sie.

<code>inputFileHandle = open(inputFileName, 'r')

row = 0

for line in inputFileHandle:
    row =  row + 1
    if line_meets_condition:
        outputFileHandle.write(line)
    else:
        lstIgnoredRows.append(row)
</code>

Ich habe die Zeilenenden in der Quelldatei überprüft und sie werden als Zeilenvorschübe ausgecheckt (ASCII-Zeichen 10). Das Herausziehen und Parsen der Problemzeilen funktioniert wie erwartet. Trete ich hier auf eine Python-Einschränkung? Die Position in der Datei der ersten Anomalie liegt um die 4-GB-Marke.