Tag: softmax
Verwenden Sie dieses tag für die Programmierung Fragen in Bezug auf die softmax-Funktion, auch bekannt als die normalisierte exponential-Funktion. Fragen, die sich auf eine bestimmte Programmiersprache sollte auch markiert werden, die mit dieser Sprache.
Numercially stabil softmax
4 Antworten
Gibt es eine numerisch stabile Verfahren zur Berechnung softmax-Funktion unten? Ich bin immer Werte, wird Nan in Neuronalen Netzwerk-code. np.exp(x)/np.sum(np.exp(y)) Die Antworten hier zeigen, die bessere Möglichkeit zur Berechnung der softmax: stackoverflow.com/questions/34968722/softmax-function-python Die akzeptierten Antworten in diesem
Wie die Umsetzung der Softmax-Derivat unabhängig von etwaigen Verlust-Funktion?
3 Antworten
Für neuronale Netze Bibliothek, die ich implementiert einige Funktionen Aktivierung-und-Verlust-Funktionen und deren Ableitungen. Sie können beliebig kombiniert werden und die Ableitung am Ausgang Schichten wird das Produkt von der Verlust-Derivat und die Aktivierung Derivat. Allerdings, ich konnte
Über tf.nn.softmax_cross_entropy_with_logits_v2
1 Antworten
Habe ich bemerkt, dass tf.nn.softmax_cross_entropy_with_logits_v2(labels, logits) vor allem führt 3 Operationen: Gelten softmax auf die logits (y_hat), um zu normalisieren: y_hat_softmax = softmax(y_hat). Berechnen der Kreuz-Entropie-Verlust: y_cross = y_true * tf.log(y_hat_softmax) Summe über die verschiedenen Klassen für
ValueError: Einstellung der ein array-element mit einer Sequenz in Python
4 Antworten
First off, hier ist mein code: """Softmax.""" scores = [3.0, 1.0, 0.2] import numpy as np def softmax(x): """Compute softmax values for each sets of scores in x.""" num = np.exp(x) score_len = len(x) y = np.array([0]*score_len)
Neuronales Netz mit softmax-Aktivierung
3 Antworten
edit: Einen spitzeren Frage: Was ist die Ableitung von softmax verwendet werden, in meinem gradient-Abstieg? Dies ist mehr oder weniger ein Forschungsprojekt für einen Kurs, und mein Verständnis von NN ist sehr/ziemlich begrenzt, also bitte geduldig sein
numpy : berechnen Sie die Ableitung der softmax-Funktion
3 Antworten
Ich versuche zu verstehen backpropagation in ein einfaches 3-Schichten-neuronales Netz mit MNIST. Es ist die input-Schicht mit weights und ein bias. Die Etiketten sind MNIST es ist also ein 10 Klasse vector. Die zweite Schicht ist ein
CS231n: so berechnen Sie den Gradienten für die Softmax-Verlust-Funktion?
2 Antworten
Ich bin gerade einige videos für Stanford CS231: Convolutional Neural Networks for Visual Anerkennung, aber nicht ganz verstehen, wie zur Berechnung der analytischen Gradienten für die softmax-Verlust-Funktion mit numpy. Vom diese stackexchange Antwort, softmax gradient wird wie
RuntimeWarning: invalid value encountered in größer
3 Antworten
Habe ich versucht zu implementieren soft-max mit dem folgenden code (out_vec ist ein numpy Vektor von floats): numerator = np.exp(out_vec) denominator = np.sum(np.exp(out_vec)) out_vec = numerator/denominator Allerdings bekam ich einen überlauf-Fehler aus, da der np.exp(out_vec). Also, ich
Wie implementiert man die Softmax-Funktion in Python?
14 Antworten
Aus der Udacity ist das deep-learning-Klassedie softmax von y_i ist einfach das exponentielle geteilt durch die Summe der exponential -, der die ganze Y-Vektor: Wo S(y_i) ist die softmax-Funktion von y_i und e ist die exponential-und j
Was ist der Unterschied zwischen sparse_softmax_cross_entropy_with_logits und softmax_cross_entropy_with_logits?
3 Antworten
Ich kam vor kurzem in tf.nn.sparse_softmax_cross_entropy_with_logits und ich kann nicht herausfinden, was der Unterschied ist im Vergleich zu tf.nn.softmax_cross_entropy_with_logits. Ist der einzige Unterschied, dass die Ausbildung von Vektoren y werden one-hot codiert bei der Verwendung sparse_softmax_cross_entropy_with_logits? Lesen
Warum Softmax im Gegensatz zur Standardnormalisierung?
8 Antworten
In der output-Schicht eines neuronalen Netzes, ist es üblich, mit dem softmax-Funktion zu approximieren, die eine Wahrscheinlichkeitsverteilung: Dies ist aufwendig zu berechnen, da der Exponenten. Warum nicht einfach eine Z-Transformation so, dass alle Ausgänge sind positiv, und
Implementierung einer Softmax-Aktivierungsfunktion für neuronale Netze
2 Antworten
Ich bin mit einem Softmax Aktivierung Funktion in der letzten Schicht des neuronalen Netzes. Aber ich habe Probleme mit einer safe-Implementierung dieser Funktion. Eine naive Implementierung würde diese sein: Vector y = mlp(x); //output of the neural