Duplikate entfernen in Django ORM — mehrere Zeilen

def remove_duplicated_records(model, fields):
    """
    Removes records from `model` duplicated on `fields`
    while leaving the most recent one (biggest `id`).
    """
    duplicates = model.objects.values(*fields)

    # override any model specific ordering (for `.annotate()`)
    duplicates = duplicates.order_by()

    # group by same values of `fields`; count how many rows are the same
    duplicates = duplicates.annotate(
        max_id=models.Max("id"), count_id=models.Count("id")
    )

    # leave out only the ones which are actually duplicated
    duplicates = duplicates.filter(count_id__gt=1)

    for duplicate in duplicates:
        to_delete = model.objects.filter(**{x: duplicate[x] for x in fields})

        # leave out the latest duplicated record
        to_delete = to_delete.exclude(id=duplicate["max_id"])

        to_delete.delete()

Sollte man nicht tun es oft. Verwenden unique_together constraints auf der Datenbank statt.

Damit bleibt der Datensatz mit der größten id in der DB. Wenn Sie möchten, halten Sie die original-Datensatz (die erste), ändern Sie den code ein bisschen mit models.Min. Sie können auch ganz anderes, wie ERSTELLUNGSDATUM oder so etwas.

Zugrunde liegenden SQL-code

Beim kommentieren von django ORM verwendet GROUP BY Aussage auf alle Modell verwendeten Felder in der Abfrage. Somit ist die Verwendung von .values() Methode. GROUP BY wird die Gruppe alle Einträge mit diesen Werten identisch. Die duplizierten Werte (mehr als ein id für unique_fields) werden später herausgefiltert, die in HAVING - Anweisung generiert .filter() auf kommentierten QuerySet.

SELECT
    field_1,
    …
    field_n,
    MAX(id) as max_id,
    COUNT(id) as count_id
FROM
    app_mymodel
GROUP BY
    field_1,
    …
    field_n
HAVING
    count_id > 1

Doppelte Datensätze werden später gelöscht in der for Schleife mit einer Ausnahme auf die häufigsten eine für jede Gruppe.

Leer .order_by()

Nur um sicher zu sein, es ist immer ratsam, fügen Sie einen leeren .order_by() rufen Sie vor der Aggregation einer QuerySet.

Die Felder für die Bestellung der QuerySet sind auch enthalten in GROUP BY - Anweisung. Leer .order_by() überschreibt Spalten deklariert Modell ist Meta und im Ergebnis sind Sie nicht in der SQL-Abfrage (z.B. default-Sortierung nach Datum kann ruinieren die Ergebnisse).

Können Sie nicht brauchen, um es zu überschreiben auf den gegenwärtigen moment, aber jemand könnte hinzufügen, Standard-Reihenfolge später und deshalb ruinieren Sie Ihre wertvollen löschen-Duplikate code nicht einmal wissen, dass. Ja, ich bin sicher, Sie haben 100% test-coverage...

Fügen Sie einfach leeren .order_by() um sicher zu sein. 😉

https://docs.djangoproject.com/en/1.11/topics/db/aggregation/#interaction-with-default-ordering-or-order-by

Transaktion

Natürlich sollten Sie überlegen, tun es alle in einer einzigen Transaktion.

https://docs.djangoproject.com/en/1.11/topics/db/transactions/#django.db.transaction.atomic