Dywergencja Jensena-Shannona
Dywergencja Jensena-Shannona – miara rozbieżności między dwoma rozkładami prawdopodobieństwa[1].
Definicja
[edytuj | edytuj kod]Miara opisana jest następującym wzorem:
gdzie i oznaczają wagi, i oznaczają porównywane rozkłady, a jest funkcją entropii Shannona[1].
W przypadku dwóch rozkładów opisujących zmienną losową i równych wag wzór na dywergencję Jensena-Shannona jest następujący[1]:
co oznacza, że dywergencję Jensena-Shannona można wyrazić jako średnią dywergencji Kullbacka-Leiblera
gdzie [2].
Własności
[edytuj | edytuj kod]Dywergencja Jensena-Shannona jest nieujemna i równa 0 w przypadku identyczności rozkładów. W przeciwieństwie do wielu miar dywergencji rozkładów pozwalających porównywać dwa rozkłady, dywergencja Jensena-Shannona może być uogólniona na dowolną skończoną liczbę rozkładów[1].
Przypisy
[edytuj | edytuj kod]- ↑ a b c d Jianhua Lin , Divergence Measures Based on the Shannon Entropy, „IEEE Transactions on Information Theory”, 37 (1), 1991, s. 145–151, DOI: 10.1109/18.61115 .
- ↑ Jinghui Lu , Maeve Henchion , Brian Mac Namee , Diverging Divergences: Examining Variants of Jensen Shannon Divergence for Corpus Comparison Tasks, „Proceedings of the 12th Conference on Language Resources and Evaluation (LREC 2020)”, Marsylia 2020, s. 6740–6744 .