So stellen Sie sicher, dass eine Datei in vb.net eine eindeutige Zeile enthält, wenn die Datei sehr groß ist
Sprache: vb.net Dateigröße: 1 GB und so.
Kodierung der Textdatei: UTF8 (so wird jedes Zeichen durch eine unterschiedliche Anzahl von Bytes dargestellt).
Kollation: UnicodeCI (wenn mehrere Zeichen im Wesentlichen gleich sind, ist die beliebteste Version die einzige.) Ich glaube, ich weiß, wie ich mit seinem umgehen soll.
Da jedes Zeichen durch eine unterschiedliche Anzahl von Bytes dargestellt wird und jede Zeile eine unterschiedliche Anzahl von Zeichen aufweist, variiert auch die Anzahl der Bytes in jeder Zeile.
Ich nehme an, wir müssen Hash für jede Zeile berechnen. Wir müssen auch die Position der Puffer an der jeweiligen Linie speichern. Dann müssen wir die Puffer vergleichen. Dann werden wir prüfen, ob die gleiche Zeile angezeigt wird oder nicht.
Gibt es dafür am besten spezielle Funktionen?