| dbpprop:abstract
|
- In probability theory and information theory, the Kullback–Leibler divergence (also information divergence, information gain, or relative entropy) is a non-symmetric measure of the difference between two probability distributions P and Q. KL measures the expected number of extra bits required to code samples from P when using a code based on Q, rather than using a code based on P. Typically P represents the "true" distribution of data, observations, or a precise calculated theoretical distribution. The measure Q typically represents a theory, model, description, or approximation of P. Although it is often intuited as a distance metric, the KL divergence is not a true metric since it is not symmetric (hence 'divergence' rather than 'distance') and does not satisfy the triangle inequality. However, it is a premetric and therefore specifies a topology. Moreover, this topology strictly dominates the topology of the total variation due to Pinsker's inequality. KL divergence is a special case of a broader class of divergences called f-divergences. Originally introduced by Solomon Kullback and Richard Leibler in 1951 as the directed divergence between two distributions, it is not the same as a divergence in calculus.
- Die Begriffe Kullback-Leibler-Divergenz (kurz KL-Divergenz), Kullback-Leibler-Entropie, Kullback-Leibler-Information oder Kullback-Leibler-Abstand bezeichnen ein Maß für die Unterschiedlichkeit zweier Wahrscheinlichkeitsverteilungen desselben Ereignishorizonts Typischerweise repräsentiert P Beobachtungen oder eine präzise Wahrscheinlichkeitsverteilung, während Q ein Modell oder eine Approximation darstellt Vorsicht: Die KL-Divergenz wird auch relative Entropie genannt, wobei der Begriff relative Entropie gelegentlich auch für die Transinformation verwendet wird Formal lässt sich die KL-Divergenz für die Wahrscheinlichkeitsfunktionen <math>P</math> und <math>Q</math> diskreter Werte folgendermaßen bestimmen: <math>D(P\|Q) = KL(P, Q)= \sum_{x \in X} P(x) \log_2 {P(x) \over Q(x)}</math> Werden die Verteilungen <math>P</math> und <math>Q</math> für kontinuierliche Werte durch die Wahrscheinlichkeitsdichtefunktionen <math>p</math> und <math>q</math> dargestellt, wird hingegen ein Integral berechnet: <math>D(P\|Q) = \int_{-\infty}^{\infty} p(x) \log \frac{p(x)}{q(x)} \; dx \!</math> Die Kullback-Leibler-Divergenz gibt aus informationstheoretischer Sicht an, wieviele Bits durchschnittlich verschwendet werden, wenn eine eigentlich auf <math>q</math> basierende Kodierung auf Ereignisse angewendet wird, die <math>p</math> folgen Somit besteht ein Zusammenhang zur Kanalkapazität Anstatt der Kullback-Leibler-Divergenz wird auch oft die Kreuzentropie verwendet Diese liefert qualitativ vergleichbare Werte, kann jedoch ohne die Kenntnis von <math>p</math> berechnet werden In praktischen Anwendungen ist dies vorteilhaft, da dort <math>p</math> meist unbekannt ist
- En théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler
- カルバック・ライブラー情報量またはカルバック・ライブラー・ダイバージェンス（英: Kullback–Leibler divergence）とは、確率論と情報理論における2つの確率分布（真の確率分布 P と任意の確率分布 Q）の差の尺度である。情報ダイバージェンス（Information divergence）、情報利得（Information gain）、相対エントロピー（Relative entropy）とも呼ばれる。直観的に距離（metric）を表すとされることが多いが、カルバック・ライブラー情報量は対称性がないため、厳密には距離ではない。KLダイバージェンスなどと略記する場合がある。 通常、P はデータ、観測値、正確に計算で求められた確率分布などを表す。一方、Q は理論値、モデル値、P の予測値などを表す。
- Dywergencja Kullbacka-Leiblera (zwana też entropią względną lub relatywną entropią) jest miarą stosowaną w statystyce i teorii informacji do określenia rozbieżności między dwoma rozkładami prawdopodobieństwa <math>p</math> i <math>q</math>. Czasem zwana jest też odległością Kullbacka-Leiblera, w rzeczywistości nie jest to jednak prawdziwa metryka, gdyż nie jest symetryczna ani nie spełnia nierówności trójkąta. Dywergencja Kullbacka-Leiblera dana jest wzorem: <math> d_{KL}(p,q) = \sum_{i} p(i) \log_2 \frac{p(i)}{q(i)}</math>, dla rozkładów dyskretnych, oraz <math> d_{KL}(p,q) = \int\limits_{-\infty}^{\infty} p(x) \log_2 \frac{p(x)}{q(x)} \; dx \!</math>, dla rozkładów ciągłych W powyższej definicji przyjmuje się, że <math>p</math> reprezentuje dane rzeczywiste, zaś <math>q</math> teoretyczny model. Entropia względna przyjmuje zawsze wartości nieujemne, przy czym 0 wtedy i tylko wtedy, gdy porównywane rozkłady są identyczne.
- Расстояние Ку́льбака — Ле́йблера в теории информации — это мера того, насколько далеки друг от друга два вероятностных распределения.
|
| rdfs:comment
|
- In probability theory and information theory, the Kullback–Leibler divergence (also information divergence, information gain, or relative entropy) is a non-symmetric measure of the difference between two probability distributions P and Q. KL measures the expected number of extra bits required to code samples from P when using a code based on Q, rather than using a code based on P.
- En théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler
- Dywergencja Kullbacka-Leiblera (zwana też entropią względną lub relatywną entropią) jest miarą stosowaną w statystyce i teorii informacji do określenia rozbieżności między dwoma rozkładami prawdopodobieństwa <math>p</math> i <math>q</math>. Czasem zwana jest też odległością Kullbacka-Leiblera, w rzeczywistości nie jest to jednak prawdziwa metryka, gdyż nie jest symetryczna ani nie spełnia nierówności trójkąta.
- Расстояние Ку́льбака — Ле́йблера в теории информации — это мера того, насколько далеки друг от друга два вероятностных распределения.
|
![[RDF Data]](/statics/sw-cube.png)
