Estou analisando um arquivo de 20Gb e exibindo linhas que atendem a uma determinada condição para outro arquivo, no entanto, ocasionalmente, o python lerá duas linhas de uma vez e as concatenará.

<code>inputFileHandle = open(inputFileName, 'r')

row = 0

for line in inputFileHandle:
    row =  row + 1
    if line_meets_condition:
        outputFileHandle.write(line)
    else:
        lstIgnoredRows.append(row)
</code>

Eu verifiquei os finais de linha no arquivo de origem e eles verificam como feeds de linha (ascii char 10). Puxar as linhas problemáticas e analisá-las isoladamente funciona conforme o esperado. Estou atingindo alguma limitação da python aqui? A posição no arquivo da primeira anomalia é em torno da marca de 4GB.