Hinzufügen von L1/L2-Regularisierung in PyTorch?

Gibt es eine Möglichkeit, ich kann einfach L1/L2-Regularisierung in PyTorch? Wir können uns wohl die Berechnung der regularisierten Verlust, indem Sie einfach die data_loss mit der reg_loss aber gibt es einen expliziten Weg, jede Unterstützung von PyTorch Bibliothek, es zu tun mehr leicht, ohne es manuell zu tun?

InformationsquelleAutor Wasi Ahmad | 2017-03-09

  1. 12

    Dies ist dargestellt in der Dokumentation für PyTorch. Haben Sie einen Blick auf http://pytorch.org/docs/optim.html#torch.optim.Adagrad. Sie können hinzufügen, L2-Verlust mit der weight decay parameter, der zur Optimierung der Funktion.

    Adagrad ist eine Optimierung der Technik, ich spreche von Regularisierung. Können Sie mir ein konkretes Beispiel mit L1-und L2-Verlust?
    Ya, die L2-Regularisierung ist auf mysteriöse Weise Hinzugefügt, die Optimierungs-Funktionen, da der Verlust von Funktionen verwendet werden, die während der Optimierung. Sie finden die Diskussion hier discuss.pytorch.org/t/simple-l2-regularization/139/3
    Ich habe einige Filialen mit L2-Verlust, also dies ist nicht sinnvoll. (Ich habe verschiedene Verlust-Funktionen)

    InformationsquelleAutor Kashyap

  2. 12

    Folgende Abschnitt soll Ihnen helfen, die für L2-Regularisierung:

    optimizer = torch.optim.Adam(model.parameters(), lr=1e-4, weight_decay=1e-5)

    InformationsquelleAutor devil in the detail

  3. 7

    Für L2-Regularisierung,

    lambda = torch.tensor(1.)
l2_reg = torch.tensor(0.)
for param in model.parameters():
    l2_reg += torch.norm(param)
loss += lambda * l2_reg

    Referenzen:

    Lambda muss nicht sein, ein tensor ist.

    InformationsquelleAutor Sherif Ahmad

Schreibe einen Kommentar