Richtige Weg, um fügen Sie viele Datensätze in Mongodb mit Node.js

Wenn Ihr MongoDB-server 2.6 oder neuer, es wäre besser, um die Vorteile der Verwendung einer write-Befehle Bulk-API, die es ermöglichen, für die Durchführung der bulk insert-Vorgänge, die einfach sind Abstraktionen, die auf dem server, um es einfach zu bauen bulk-Operationen und damit die perfomance Gewinn mit Ihrem update über große Sammlungen.

Senden Sie die bulk insert-Vorgänge in den Reihen führt zu weniger traffic auf dem server und nimmt damit eine effiziente Draht-Transaktionen, indem Sie senden nicht alles in einzelnen Aussagen, sondern bricht in überschaubare Stücke für den server Verpflichtung. Es ist auch weniger Wartezeit für die Antwort im callback mit diesem Ansatz.

Diese bulk-Operationen kommen im wesentlichen in zwei Geschmacksrichtungen:

• Bestellt bulk-Operationen. Diese Operationen auszuführen, die Bedienung in Ordnung und die Fehler aus der ersten write-Fehler.
• Ungeordneten bulk-Operationen. Diese Operationen führen Sie alle Operationen parallel und Aggregate bis alle Fehler. Ungeordneten bulk-Operationen garantieren nicht die Reihenfolge der Ausführung.

Beachten Sie, dass bei älteren Servern als 2.6 die API wird downconvert der Operationen. Allerdings ist es nicht möglich, downconvert 100%, so dass möglicherweise gibt es einige Grenzfälle, wo es nicht richtig melden den richtigen zahlen.

In Ihrem Fall könnten Sie implementieren die Bulk-API-insert-operation in batches von 1000 wie diese:

Für MongoDB 3.2+ mit bulkWrite

var MongoClient = require('mongodb').MongoClient;
var url = 'mongodb://localhost:27017/test';
var entries = [ ... ] //a huge array containing the entry objects

var createNewEntries = function(db, entries, callback) {

    //Get the collection and bulk api artefacts
    var collection = db.collection('entries'),          
        bulkUpdateOps = [];    

    entries.forEach(function(doc) {
        bulkUpdateOps.push({ "insertOne": { "document": doc } });

        if (bulkUpdateOps.length === 1000) {
            collection.bulkWrite(bulkUpdateOps).then(function(r) {
                //do something with result
            });
            bulkUpdateOps = [];
        }
    })

    if (bulkUpdateOps.length > 0) {
        collection.bulkWrite(bulkUpdateOps).then(function(r) {
            //do something with result
        });
    }
};

Für MongoDB <3.2

var MongoClient = require('mongodb').MongoClient;
var url = 'mongodb://localhost:27017/test';
var entries = [ ... ] //a huge array containing the entry objects

var createNewEntries = function(db, entries, callback) {

    //Get the collection and bulk api artefacts
    var collection = db.collection('entries'),          
        bulk = collection.initializeOrderedBulkOp(), //Initialize the Ordered Batch
        counter = 0;    

    //Execute the forEach method, triggers for each entry in the array
    entries.forEach(function(obj) {         

        bulk.insert(obj);           
        counter++;

        if (counter % 1000 == 0 ) {
            //Execute the operation
            bulk.execute(function(err, result) {  
                //re-initialise batch operation           
                bulk = collection.initializeOrderedBulkOp();
                callback();
            });
        }
    });             

    if (counter % 1000 != 0 ){
        bulk.execute(function(err, result) {
            //do something with result 
            callback();             
        }); 
    } 
};

Rufen Sie die createNewEntries() Funktion.

MongoClient.connect(url, function(err, db) {
    createNewEntries(db, entries, function() {
        db.close();
    });
});

var MongoClient = require('mongodb').MongoClient;
var url = 'mongodb://localhost:27017/test';
var data1={
    name:'Data1',
    work:'student',
    No:4355453,
    Date_of_birth:new Date(1996,10,17)
};

var data2={
    name:'Data2',
    work:'student',
    No:4355453,
    Date_of_birth:new Date(1996,10,17)
};

MongoClient.connect(url, function(err, db) {
    if(err!=null){
        return console.log(err.message)
    }

    //insertOne
    db.collection("App").insertOne(data1,function (err,data) {

        if(err!=null){
            return console.log(err);
        }
        console.log(data.ops[0]);
    });

    //insertMany

var Data=[data1,data2];

db.collection("App").insertMany(Data,forceServerObjectId=true,function (err,data) {

        if(err!=null){
            return console.log(err);
        }
        console.log(data.ops);
    });
    db.close();
});