Próbuję napisać aplikację węzła, która czyta zbiór plików, dzieli je na linie i umieszcza linie w tablicy. Dość proste. Działa na kilku plikach z wyjątkiem niektórych plików SQL, z którymi pracuję. Z jakiegoś powodu wydaje mi się, że otrzymuję jakieś wyjście Unicode, gdy rozdzielam linie. Aplikacja wygląda mniej więcej tak:

fs = require("fs");
var data = fs.readFileSync("test.sql", "utf8");
console.log(data);
lines = data.split("\n");
console.log(lines);

Plik wejściowy wygląda mniej więcej tak:

use whatever
go

Dane wyjściowe wyglądają tak:

��use whatever
go

[ '��u\u0000s\u0000e\u0000 \u0000w\u0000h\u0000a\u0000t\u0000e\u0000v\u0000e\u0000r\u0000',
  '\u0000g\u0000o\u0000',
  '\u0000' ]

Jak widać, na początku pliku jest jakiś nierozpoznany znak. Po odczytaniu danych i bezpośrednim wyprowadzeniu ich, wygląda to dobrze, z wyjątkiem tego znaku. Jeśli jednak spróbuję podzielić go na linie, otrzymam wszystkie znaki podobne do Unicode. Zasadniczo są to wszystkie rzeczywiste znaki z „0000” na początku każdego z nich.

Nie mam pojęcia, co tu się dzieje, ale wydaje się, że ma to coś wspólnego z postaciami w samym pliku. Jeśli skopiuję i wkleję tekst pliku do innego nowego pliku i uruchomię aplikację na nowym pliku, działa poprawnie. Zakładam, że cokolwiek powoduje ten problem, jest usuwane podczas procesu kopiowania i wklejania.