Língua: vb.net Tamanho do arquivo: 1GB e outras coisas.

Codificação do arquivo de texto: UTF8 (então cada caractere é representado por diferentes números de bytes).

Colação: UnicodeCI (quando vários caracteres são essencialmente os mesmos, a versão mais popular será a única). Eu acho que sei como lidar com isso.

Como cada caractere é representado por diferentes números de bytes e cada linha tem diferentes números de caracteres, o número de bytes em cada linha também varia.

Eu suponho que temos que calcular o hash para cada linha. Também precisamos armazenar a localização dos buffers, onde a linha cada. Então temos que comparar os buffers. Então vamos verificar se a mesma linha aparece ou não.

Há funções especiais melhores para isso?