Idioma: Tamaño de archivo vb.net: 1 GB, y esas cosas.

Codificación del archivo de texto: UTF8 (por lo que cada carácter está representado por diferentes números de bytes).

Colación: UnicodeCI (cuando varios caracteres son esencialmente iguales, la versión más popular será la única). Creo que sé cómo manejarlo.

Como cada carácter está representado por diferentes números de bytes y cada línea tiene diferentes números de caracteres, el número de bytes en cada línea también varía.

Supongo que tenemos que calcular el hash para cada línea. También necesitamos almacenar los buffers en la ubicación de cada línea. Entonces tenemos que comparar los buffers. Luego verificaremos si aparece la misma línea o no.

¿Hay mejores funciones especiales para eso?