Remover duplicatas no mongodb
Gostaria de remover duplicatas no robomongo, minha versão 3.0.12, então não posso usar DropDups,
{
"_id" : ObjectId("id"),
"Name" : "No One",
"SituationDate" : "18-03-2017",
"Situation" : "ACTIVE",
"Region" : "13 REGION",
"RegisterNumber" : "7649",
"Version" : "20170517"
}
O RegisterNumber deve ser exclusivo, então eu gostaria de remover como duplicado pelo RegisterNumber.
EDIT: Acabei de descobrir que pessoas de diferentes regiões podem ter o mesmo registerNumber ... Como posso remover apenas aqueles que possuem o RegisterNumber e a mesma região
Solução: Aqui está a solução dada por @Neil Lunn com pequenas modificações, testei-a em uma coleção chamadaTEST
e funcionou:
var bulk = db.getCollection('TEST').initializeOrderedBulkOp();
var count = 0;
db.getCollection('TEST').aggregate([
// Group on unique value storing _id values to array and count
{ "$group": {
"_id": { RegisterNumber: "$RegisterNumber", Region: "$Region" },
"ids": { "$push": "$_id" },
"count": { "$sum": 1 }
}},
// Only return things that matched more than once. i.e a duplicate
{ "$match": { "count": { "$gt": 1 } } }
]).forEach(function(doc) {
var keep = doc.ids.shift(); // takes the first _id from the array
bulk.find({ "_id": { "$in": doc.ids }}).remove(); // remove all remaining _id matches
count++;
if ( count % 500 == 0 ) { // only actually write per 500 operations
bulk.execute();
bulk = db.getCollection('TEST').initializeOrderedBulkOp(); // re-init after execute
}
});
// Clear any queued operations
if ( count % 500 != 0 )
bulk.execute();