Wie Schwer ist Sigmoid definiert

Arbeite ich auf Tiefe Netze mit keras. Es ist eine Aktivierung "hart sigmoid". Was ist seine mathematische definition ?

Ich wissen, was ist Sigmoid. Fragte jemand ähnliche Frage auf Quora: https://www.quora.com/What-is-hard-sigmoid-in-artificial-neural-networks-Why-is-it-faster-than-standard-sigmoid-Are-there-any-disadvantages-over-the-standard-sigmoid

Aber ich konnte nicht finden, die genaue mathematische definition überall ?

InformationsquelleAutor Anuj Gupta | 2016-02-15
  1. 12

    Seit Keras unterstützt sowohl Tensorflow und Theano, die genaue Umsetzung kann unterschiedlich sein für jeden backend - werde ich Theano nur. Für Theano backend Keras verwendet T.nnet.hard_sigmoid, die wiederum Linear approximiert standard-sigmoid:

    slope = tensor.constant(0.2, dtype=out_dtype)
shift = tensor.constant(0.5, dtype=out_dtype)
x = (x * slope) + shift
x = tensor.clip(x, 0, 1)

    D. H. es ist: max(0, min(1, x*0.2 + 0.5))

    InformationsquelleAutor Serj Zaharchenko
  2. 2

    Referenz, die hard sigmoid function können unterschiedlich definiert werden, an verschiedenen Orten. In Courbariaux et al. 2016 [1] es ist definiert als:

    σ ist die "harte sigmoid" - Funktion: σ(x) = - clip((x + 1)/2, 0, 1) =
    max(0, min(1, (x + 1)/2))

    Die Absicht ist es, eine Wahrscheinlichkeit Wert (daher einschränken es werden zwischen 0 und 1) für den Einsatz in stochastische Binarisierung der neuronalen Netzwerk-Parameter (z.B. Gewicht, Aktivierung, gradient). Verwenden Sie die Wahrscheinlichkeit p = σ(x) zurückgegeben, die von der harten sigmoid-Funktion, um die parameter x zu +1 mit p Wahrscheinlichkeit, oder -1 mit Wahrscheinlichkeit 1-p.

    [1] https://arxiv.org/abs/1602.02830 - "Binarized Neuronale Netze: Training der Tiefen Neuronale Netze mit Gewichten und Aktivierungen beschränkt sich auf +1 oder -1,", Matthieu Courbariaux, Itay Hubara, Daniel Soudry, Ran El-Yaniv, Yoshua Bengio, (Eingereicht am 9 Feb 2016 (v1), die zuletzt revidiert 17 Mar 2016 (diese version, v3))

    InformationsquelleAutor bobo
  3. 0

    Den harten Sigma ist normalerweise eine stückweise lineare approximation der logistischen sigmoid-Funktion. Je nachdem, welche Eigenschaften der original-Sigma, die Sie behalten möchten, können Sie eine verschiedene Annäherung.

    Ich persönlich mag zu halten, die Funktion korrekt auf null, d.h. σ(0) = 0.5 (shift) und σ'(0) = 0.25 (slope). Dies könnte wie folgt codiert

    def hard_sigmoid(x):
    return np.maximum(0, np.minimum(1, (x + 2) / 4))
    InformationsquelleAutor Mr Tsjolder
  4. -3

    ist es 

      clip((x + 1)/2, 0, 1)

    in der coding-Sprache:

      max(0, min(1, (x + 1)/2))
    • Sollten Sie einige Referenzen und / oder Erklärung dafür.
    InformationsquelleAutor Anuj Gupta
Schreibe einen Kommentar