Was ist `lr_policy` im Caffe?

Ich versuche nur, um herauszufinden, wie ich verwenden können,Caffe. So zu tun, ich habe nur einen Blick auf die verschiedenen .prototxt Dateien im Ordner Beispiele. Es ist eine option, die ich nicht verstehe:

# The learning rate policy
lr_policy: "inv"

Möglich Werte zu sein scheinen:

  • "fixed"
  • "inv"
  • "step"
  • "multistep"
  • "stepearly"
  • "poly"

Könnte jemand bitte erklären Sie diese Optionen?

InformationsquelleAutor Martin Thoma | 2015-05-04

  1. 40

    Wenn Sie sich die /caffe-master/src/caffe/proto/caffe.proto - Datei (Sie finden es online hier), sehen Sie die folgenden Beschreibungen:

    //The learning rate decay policy. The currently implemented learning rate
//policies are as follows:
//   - fixed: always return base_lr.
//   - step: return base_lr * gamma ^ (floor(iter /step))
//   - exp: return base_lr * gamma ^ iter
//   - inv: return base_lr * (1 + gamma * iter) ^ (- power)
//   - multistep: similar to step but it allows non uniform steps defined by
//     stepvalue
//   - poly: the effective learning rate follows a polynomial decay, to be
//     zero by the max_iter. return base_lr (1 - iter/max_iter) ^ (power)
//   - sigmoid: the effective learning rate follows a sigmod decay
//     return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))
//
//where base_lr, max_iter, gamma, step, stepvalue and power are defined
//in the solver parameter protocol buffer, and iter is the current iteration.

    InformationsquelleAutor w1res

  2. 51

    Ist es eine gängige Praxis zu verringern, die learning-rate (lr) als Optimierungs - /Lernprozess fortschreitet. Es ist jedoch nicht klar, wie genau die learning-rate verringert werden sollte als Funktion der iteration Nummer.

    Wenn Sie ZIFFERN als Schnittstelle zu einem Caffe, Sie werden in der Lage sein, um visuell zu sehen, wie die verschiedenen Entscheidungen, die Einfluss auf die Lern-rate.

    behoben: die learning-rate ist gehalten, die fest in der gesamten Lernprozess.

    inv: die learning-rate verfallenden ~1/T

    Was ist `lr_policy` im Caffe?

    Schritt: die learning-rate ist stückweise konstant ist, fallen jeden X Iterationen

    Was ist `lr_policy` im Caffe?

    multistep: stückweise konstant auf beliebige Intervalle

    Was ist `lr_policy` im Caffe?

    Können Sie genau sehen, wie die learning rate") berechnet, die in der Funktion SGDSolver<Dtype>::GetLearningRate (solvers/sgd_solver.cpp Zeile ~30).

    Vor kurzem, ich stieß auf eine interessante und unkonventionelle Herangehensweise an das lernen-rate-tuning: Leslie N. Smith ' s Arbeit "Nicht Mehr Lästigen Learning Rate zu Erraten Spiele". In seinem Bericht, Leslie empfiehlt lr_policy wechselt zwischen kleiner und zunehmende die learning-rate. Seine Arbeit schlägt auch vor, wie die Umsetzung dieser Politik im Caffe.

    Nicht Mehr die Lästigen ... ist anscheinend ähnliche Leistung wie mit adadelta. Es gibt nun mehrere adaptive Systeme zur Verfügung und im Caffe.

    InformationsquelleAutor Shai

Schreibe einen Kommentar