Eu estou tentando escrever um aplicativo de nó que lê em um conjunto de arquivos, divide-os em linhas e coloca as linhas em uma matriz. Bem simples. Ele funciona em alguns arquivos, exceto alguns arquivos SQL com os quais estou trabalhando. Por alguma razão eu pareço estar recebendo algum tipo de saída unicode quando eu dividir as linhas. O aplicativo é algo como isto:

fs = require("fs");
var data = fs.readFileSync("test.sql", "utf8");
console.log(data);
lines = data.split("\n");
console.log(lines);

O arquivo de entrada é algo como isto:

use whatever
go

A saída é assim:

��use whatever
go

[ '��u\u0000s\u0000e\u0000 \u0000w\u0000h\u0000a\u0000t\u0000e\u0000v\u0000e\u0000r\u0000',
  '\u0000g\u0000o\u0000',
  '\u0000' ]

Como você pode ver, existe algum tipo de caractere não reconhecido no início do arquivo. Depois de ler os dados e emiti-los diretamente, parece bem, exceto para este caractere. No entanto, se eu tentar dividi-lo em linhas, obtenho todos esses caracteres semelhantes a unicode. Basicamente são todos os personagens reais com "\ u0000" no começo de cada um.

Eu não tenho idéia do que está acontecendo aqui, mas parece ter algo a ver com os personagens no próprio arquivo. Se eu copiar e colar o texto do arquivo em outro novo arquivo e executar o aplicativo no novo arquivo, ele funcionará bem. Presumo que o que está causando esse problema está sendo eliminado durante o processo de copiar e colar.