Die Shannon-Entropie-Berechnung

Habe ich eine Wahrscheinlichkeitsverteilung definiert, dass die Wahrscheinlichkeit des Auftretens von n möglichen Zustände.

Ich würde wie berechnen Sie den Wert der Shannon-Entropie in bits, der gegebenen Wahrscheinlichkeitsverteilung.

Kann ich wentropy(x,'shannon') zu erhalten die Wert-und wenn ja, wo kann ich definieren, die Anzahl der möglichen Zustände in einem system hat?

mögliche Duplikate von wie zur Berechnung der shannon Entropie byte bigrame
Entropie in bytes? sind Sie sicher?
Ich habe gerade bearbeitet es mit 'bit'. (gutes Beispiel von, warum Sie nicht haben sollte Mindest-Zeichen-Anzahl auf die Bearbeitung, da hatte ich andere Bearbeitungen, nur um es zu beheben: einzelne Wörter kann wichtig sein).

InformationsquelleAutor user2703038 | 2014-02-27

  1. 8

    Da Sie bereits über die Wahrscheinlichkeitsverteilung, nennen es p haben, können Sie die folgenden Formel für die Shannon-Entropie anstatt wentropy:

    H = sum(-(p(p>0).*(log2(p(p>0)))));

    Dieser gibt die Entropie H in bits.

    p muss Summe zu 1.

    Danke. Noch eine Frage, wie definieren die Wahrscheinlichkeitsverteilung in matlab? Als Vektor? [0,0.5,0.8...]
    Ja, Werte <1, summieren zu 1. Sie scheinen zu zeigen, dass der start in eine cdf-Datei, nicht als pdf.
    Die größte Sorge, die ich habe, ist der Ansatz. Ich habe einen Vektor, der die Wahrscheinlichkeiten für jeden Zustand des Systems. Zum Beispiel, wenn ein Staat einen probabilistischen Wert von 1 ist es wahrscheinlich, um den aktuellen Zustand, und wenn es Wert ist 0 es ist ein unmöglicher Zustand des Systems. Nochmals vielen Dank.
    Ja, das ist die Idee von einer Wahrscheinlichkeitsverteilung, aber denken Sie daran, dass die Wahrscheinlichkeit, dass alle Staaten müssen eine Summe.
    Du hast Recht, aber ich bin zögerlich, es zu nennen ein pdf, da die Wahrscheinlichkeiten Verhalten sich wie eine Einschränkungen der möglichen Zustände eines Systems, also eine Verringerung seiner Entropie-Ebene. Zum Beispiel, wenn ich drei der Staaten, die gleich wahrscheinlich sind und eine, die unmöglich ist, würde ich es aufschreiben als [1,1,1,0]. Ich hoffe, dass mein Ansatz nicht zu unorthodox.

    InformationsquelleAutor chappjc

Schreibe einen Kommentar