mongo 3 Duplikate auf eindeutigen index - dropDups

In der Dokumentation für mongoDB heißt es:
"Geändert in version 3.0: Die dropDups option ist nicht mehr verfügbar."

Gibt es irgendetwas, was ich tun kann (außer Downgrade), wenn ich wirklich wollen, um einen eindeutigen index erstellen und zerstören doppelte Einträge?

bitte beachten Sie die erhalte ich über 300 Einsätze pro Sekunde, so kann ich nicht nur löschen Sie alle Duplikate, und hoffe, keiner wird kommen in der Zeit ich bin fertig Indizierung.

  • Ich verstehe nicht, Ihre Frage. Ich verstehe dich richtig, dass Sie bestehende Dokumente, einschließlich der Duplikate und jetzt wollen Sie einen eindeutigen index auf das Feld Kontaktaufnahme mit Dubletten, während gleichzeitig potenzielle neue dupes kommen?
  • ja. Ich möchte, um loszuwerden, die dups und wenn neue hinzu kommen, Sie abzulehnen.
  • Ich habe, hängt mit diesem Thema auch, gibt es irgendeine alternative, wie, um loszuwerden, Duplikate ohne dropDups in MongoDB >= 3.* ??
InformationsquelleAutor Alonzorz | 2015-05-12
  1. 12

    Ja dropDupes ist jetzt veraltet seit der version 2.7.5, weil es nicht möglich war, korrekt Vorhersagen das Dokument gelöscht wird.

    In der Regel haben Sie 2 Optionen :

    1. Verwenden Sie eine neue Sammlung :

      • Eine neue Sammlung erstellen,
      • Erstellen Sie den eindeutigen index für diese neue Kollektion,
      • Ausführen einer batch-kopieren Sie alle Dokumente aus dem alten Sammlung in das neue ein und stellen Sie sicher, dass Sie ignorieren dupliziert Schlüssel Fehler während des Prozesses.

    2. Befassen sich mit in Ihrer eigenen Sammlung von Hand :

      • sicherzustellen, dass Sie nicht, legen Sie doppelte Dokumente in Ihrem code,
      • ausführen einer batch auf Ihre Sammlung zum löschen der Duplikate (und stellen Sie sicher, Sie halten die gute wenn Sie nicht völlig identisch),
      • dann fügen Sie den eindeutigen index.

    Für Ihren speziellen Fall würde ich empfehlen, die erste option aber mit einem trick :

    • Erstellen Sie eine neue Sammlung mit eindeutigen index,
    • Aktualisieren Sie den code, so dass Sie nun einfügen von Dokumenten in beide Tabellen,
    • Ausführen einer batch-kopieren aller Dokumente aus dem alten Erfassung auf die neue (ignorieren dupliziert Schlüssel Fehler),
    • benennen Sie die neue Kollektion entsprechen den alten Namen.
    • re-aktualisieren Sie Ihren code, so dass Sie jetzt nur schreiben in der "alten" Kollektion
    • Option 1 ist wahrscheinlich der beste Weg zu gehen für das Neuerstellen von Indizes sowie, da ein live-system muss warten, bis die Indizes neu zu erstellen kann es langsam nach unten.
    • make sure you ignore duplicated key error during the process. Wie würden Sie dies tun? Es scheint die Fehler stoppen Sie die Transaktion Mitte-Prozess
    • Verwenden MongoDB ungeordneten bulk-inserts : "Wenn ein Fehler während der Verarbeitung von einem der schreib-Operationen, MongoDB weiter zu verarbeiten verbleibenden schreib-Operationen in der Liste." Beispiel : db.Personen.einfügen([{"_id" : "Bob"}, {"_id" : "John"}, {"_id" : "Bob"}, {"_id" : "Marc"}], { bestellt : false }) eingefügt werden 3 Dokumente und zeigen ein duplicate key error. Mit {bestellt : true}, nur die ersten 2 eingefügt würde. Weitere doc - hier
    • Denk daran, es sind keine Transaktionen in MongoDB : es ist nicht SÄURE. Wenn Sie 10 Einsätze, es wird keinen rollback, wenn die fünfte gibt einen Fehler zurück. Verwechseln Sie diesen mit der Dokument-Ebene Sperren, die eine Art "mini" - Transaktion stimmt nur für ein Dokument.
    • DropDups ist veraltet von der 2.6 version von MongoDB. docs.mongodb.com/v2.6/tutorial/create-a-unique-index/...
    InformationsquelleAutor Maxime Beugnet
  2. 8

    Als hervorgehoben durch @Maxime-Beugnet können Sie erstellen Sie eine batch-Skript zum entfernen von Duplikaten aus einer Sammlung. Ich habe auch mein Ansatz unten, dass ist relativ schnell, wenn die Anzahl der Duplikate sind klein im Vergleich zu der Sammlung Größe. Für die demonstration dieses Skript de-dupliziert die Kollektion geschaffen, indem Sie das folgende Skript:

    db.numbers.drop()

var counter = 0
while (counter<=100000){
  db.numbers.save({"value":counter})
  db.numbers.save({"value":counter})
  if (counter % 2 ==0){
    db.numbers.save({"value":counter})
  }
  counter = counter + 1;
}

    Können Sie entfernen Sie die Duplikate in diese Sammlung, indem er eine Aggregat-Abfrage gibt alle Datensätze zurück, die mit mehr als eine doppelte.

    var cur = db.numbers.aggregate([{ $group: { _id: { value: "$value" }, uniqueIds: { $addToSet: "$_id" }, count: { $sum: 1 } } }, { $match: { count: { $gt: 1 } } }]);

    Mithilfe der cursor können Sie dann die Iteration über die doppelte Datensätze und setzen Sie Ihre eigene business-Logik zu entscheiden, welches der Duplikate zu entfernen. Im Beispiel unten bin ich einfach nur zu halten das erste vorkommen:

    while (cur.hasNext()) {
    var doc = cur.next();
    var index = 1;
    while (index < doc.uniqueIds.length) {
        db.numbers.remove(doc.uniqueIds[index]);
        index = index + 1;
    }
}

    Nach dem entfernen der Duplikate können Sie eine einzigartige index:

    db.numbers.createIndex( {"value":1},{unique:true})
    InformationsquelleAutor Jaco
  3. 0

    pip installieren mongo_remove_duplicate_indexes

    beste Weg wird sein, erstellen Sie ein python-Skript oder in jeder Sprache, die Sie bevorzugen,Durchlaufen die Sammlung ,neue Sammlung erstellen mit einem eindeutigen index auf true gesetzt, mit db.collectionname.createIndex ({"indexname": 1},unique:true),und legen Sie Ihre Dokumente aus früheren Kollektion neue Kollektion und da die Taste, die Sie werden wollte, distinct-oder Duplikate entfernt werden, werden nicht eingefügt in ur neue Kollektion und u kann mit den ecxeption leicht mit Ausnahmebehandlung

    überprüfen Sie das Paket Quellcode für das Beispiel

    InformationsquelleAutor
Schreibe einen Kommentar