Język: vb.net Rozmiar pliku: 1 GB i inne.

Kodowanie pliku tekstowego: UTF8 (więc każdy znak jest reprezentowany przez różne liczby bajtów).

Porównanie: UnicodeCI (gdy kilka znaków jest zasadniczo takich samych, najbardziej popularna będzie wersja unikalna). Myślę, że wiem, jak poradzić sobie z jego.

Ponieważ każdy znak jest reprezentowany przez różne liczby bajtów i każda linia ma różną liczbę znaków, liczba bajtów w każdej linii również się zmienia.

Przypuszczam, że musimy obliczyć skrót dla każdej linii. Musimy także przechowywać lokalizację buforów, gdzie każda linia. Następnie musimy porównać bufory. Następnie sprawdzimy, czy pojawi się ta sama linia.

Czy są do tego najlepsze funkcje specjalne?