Próbuję napisać program do parsowania i wstawiania danych logów iis do mongodb. Pliki nie są tak duże, że mają około 600 linii. Próbuję przekonać moje kierownictwo nodejs i mongodb do tego lepiej niż do .net i serwera sql :).
Spójrz na poniższy kod w nodejs. Logika: analizuję każdą linię i konwertuję na json i wstawiam zapis w db. Używam sterownika mongonatywnego.
Problem: połączenie db zostaje zamknięte, zanim wszystkie linie zostaną wstawione do Db.
Widzę, że plik dziennika ma 6000 linii, ale liczba rekordów w db wynosi tylko 4000. Rozumiem, że to asynchroniczna charakterystyka nodejs, w jaki sposób mogę zamknąć połączenie w bardziej deterministyczny sposób (po sprawdzeniu, czy wszystkie linie zostały wstawione)?

var MongoClient = require('mongodb').MongoClient;
var mongoServer = require('mongodb').Server;
var serverOptions = {
    'auto_reconnect': true,
    'poolSize': 5
};

var fs = require('fs');
var readline = require('readline');

var rd = readline.createInterface({
    input: fs.createReadStream('C:/logs/Advisor_Metrics/UI/P20VMADVSRUI01/u_ex130904.log'),
    output: process.stdout,
    terminal: false
});
var mongoClient = new MongoClient(new mongoServer('localhost', 27017, serverOptions));
var db = mongoClient.db('test');
var collection = db.collection('new_file_test');
var cntr = 0;
mongoClient.open(function (err, mongoClient) {
    console.log(err);
    if (mongoClient)
    {        
        rd.on('line', function (line) {
            if (line.indexOf('#') == -1) {
                var lineSplit = line.split(' ');
                var data =
                {
                    d: lineSplit[0],
                    t: lineSplit[1],
                    sip: lineSplit[2],
                    met: lineSplit[3],
                    uri: lineSplit[4],
                    cip: lineSplit[8],
                    cua: lineSplit[9],
                    stat: lineSplit[10],
                    tt: lineSplit[13]
                };

                collection.insert(data, function (err, docs) {
                    console.log('closing connection');
                    //db.close();
                });
            }
        });
    }
})
rd.on('close', function () {
    db.close();
});

Sol 1: Rozwiązaniem byłoby przeanalizowanie obiektów json i dodanie do tablicy i dodanie tablicy do mongodb. nie chciałbym tego robić, ponieważ chciałoby to parsować cały ogromny plik dziennika do pamięci !, każde inne rozwiązanie?