relative Redundanz < Sonstiges < Hochschule < Mathe < Vorhilfe
| |
|
Huludilo Bastiane,
Sturm gut überstanden ? Bin auch nicht vom Rad gefallen.
Zur Frage: [mm] H_{max} [/mm] ist die maximal mögliche Entropie - hier bei einem 26-zeichigen Alphabet -, also die Lösung des
Optimierungsproblems
[mm] \max\sum_{i=1}^{26}-p_i\cdot\log (p_i)
[/mm]
unter der Nebenbedingung [mm] \sum_{i=1}^{26}p_i=1 [/mm] und [mm] p_i\geq [/mm] 0 [mm] \:\: (1\leq i\leq [/mm] 26),
na ja, und dieses Maximum wird halt genau bei Gleichverteilung erreicht. Nun kann man also die Entropie durch diesen Wert teilen und erhält die relative Entropie.
Lieben Gruss,
Mathias
ps. Wo machst denn Du sowas ? In Neuro etwa ? Oder bei Computer Vision ?
|
|
|
|
![[]](/images/popup.gif){kind=small}
hier![[cap]](/images/smileys/cap.gif "[cap]"){kind=small}
