| dbo:abstract
|
- Kullbackova–Leiblerova divergence neboli Kullbackova–Leiblerova divergenční míra neboli Kullbackova–Leiblerova vzdálenost neboli relativní entropie čili diskriminační informace je jedna z měr používaných v matematické statistice pro stanovení, jak se jedna distribuční funkce (P) odlišuje od jiné (Q). Kullbackova–Leiblerova divergence DKL(P‖Q) nabývá hodnoty nula, právě když se distribuce P a Q rovnají skoro všude; v opačném případě je divergence kladná. Míra není symetrická, což znamená že DKL(P‖Q) nemusí nutně být totéž jako DKL(Q‖P). Jejími autory jsou a , kteří ji uveřejnili roku 1951. Jsou-li P a Q pravděpodobnostní míry nad množinou X a je-li P absolutně spojitá míra vzhledem ke Q, tak je Kullbackova–Leiblerova divergence P od Q definována jako pokud výraz na pravé straně existuje a kde je P vzhledem ke Q. Pro spojité distribuce lze tuto definici napsat jako kde p a q jsou hustoty pravděpodobnosti P resp. Q, a pro diskrétní distribuce vzorec vypadá takto: (cs)
- في الاحصاء الرياضي ، فإن تباعد كولباك - ليبلير (وتسمى أيضا الانتروبية النسبية) (بالإنجليزية: Kullback–Leibler divergence) هو مقياس لمدى اختلاف توزيع احتمالي واحد عن توزيع احتمالي مرجعي آخر. تتضمن تطبيقات تباعد كولباك - ليبلير توصيف اعتلاج شانون (Shannon) النسبي في نظم المعلومات، والعشوائية في السلاسل الزمنية المستمرة، واكتساب المعلومات عند مقارنة النماذج الإحصائية للاستدلال. على النقيض من تباين المعلومات، فإن تباعد كولباك - ليبلير هو مقياس غير متساوي من حيث التوزيع وبالتالي فهو غير مؤهل كمقياس إحصائي للانتشار. في الحالة البسيطة، يشير تباعد كولباك - ليبلير ذو القيمة 0 إلى أن التوزيعتين المعنيتين متطابقتان. وهو يبقى مقياس مهم بالنسبة لتطبيقات عديدة مثل الإحصاءات التطبيقية، ميكانيكا الموائع، علم الأعصاب والتعلم الآلي . (ar)
- Die Begriffe Kullback-Leibler-Divergenz (kurz KL-Divergenz) und Kullback-Leibler-Abstand (auch Kullback-Leibler-Entropie oder Kullback-Leibler-Information, nach Solomon Kullback und Richard Leibler; englisch Information Gain) bezeichnen ein Maß für die Unterschiedlichkeit zweier Wahrscheinlichkeitsverteilungen. Typischerweise repräsentiert dabei eine der Verteilungen empirische Beobachtungen oder eine präzise Wahrscheinlichkeitsverteilung, während die andere ein Modell oder eine Approximation darstellt. Die KL-Divergenz wird auch relative Entropie genannt, wobei der Begriff relative Entropie gelegentlich auch für die Transinformation verwendet wird. Formal lässt sich die KL-Divergenz für die Wahrscheinlichkeitsfunktionen und diskreter Werte folgendermaßen bestimmen: Werden die Verteilungen und für kontinuierliche Werte durch die Wahrscheinlichkeitsdichtefunktionen und dargestellt, wird hingegen ein Integral berechnet: Die Kullback-Leibler-Divergenz gibt aus informationstheoretischer Sicht an, wie viel Platz pro Zeichen im Mittel verschwendet wird, wenn eine auf basierende Kodierung auf eine Informationsquelle angewendet wird, die der tatsächlichen Verteilung folgt. Somit besteht ein Zusammenhang zur Kanalkapazität. Mathematisch ist dies verträglich mit der Aussage, dass die KL-Divergenz ist und Gleichheit nur dann gilt, wenn P und Q identisch sind. Die konkrete Wahl der Basis des Logarithmus in der Berechnung hängt dabei davon ab, in welcher Informationseinheit gerechnet werden soll.In der Praxis gibt man die KL-Divergenz häufig in Bit bzw. Shannon an und verwendet dafür die Basis 2, seltener werden auch Nit (Basis ) und Ban (Basis 10) gebraucht. Anstatt der Kullback-Leibler-Divergenz wird auch oft die Kreuzentropie verwendet. Diese liefert qualitativ vergleichbare Werte, kann jedoch ohne die genaue Kenntnis von geschätzt werden. In praktischen Anwendungen ist dies vorteilhaft, da die tatsächliche Hintergrundverteilung der Beobachtungsdaten meist unbekannt ist. Obwohl die Kullback-Leibler-Divergenz teilweise auch als Kullback-Leibler-Distanz bezeichnet wird, erfüllt sie eine fundamentale Anforderung an Distanzmaße nicht: Sie ist nicht symmetrisch, es gilt also im Allgemeinen . Um Symmetrie herzustellen, kann alternativ die Summe der beiden Divergenzen verwendet werden, die offensichtlich symmetrisch ist: (de)
- In mathematical statistics, the Kullback–Leibler divergence (also called relative entropy and I-divergence), denoted , is a type of statistical distance: a measure of how one probability distribution P is different from a second, reference probability distribution Q. A simple of the KL divergence of P from Q is the expected excess surprise from using Q as a model when the actual distribution is P. While it is a distance, it is not a metric, the most familiar type of distance: it is not symmetric in the two distributions (in contrast to variation of information), and does not satisfy the triangle inequality. Instead, in terms of information geometry, it is a type of divergence, a generalization of squared distance, and for certain classes of distributions (notably an exponential family), it satisfies a generalized Pythagorean theorem (which applies to squared distances). In the simple case, a relative entropy of 0 indicates that the two distributions in question have identical quantities of information. Relative entropy is a nonnegative function of two distributions or measures. It has diverse applications, both theoretical, such as characterizing the relative (Shannon) entropy in information systems, randomness in continuous time-series, and information gain when comparing statistical models of inference; and practical, such as applied statistics, fluid mechanics, neuroscience and bioinformatics. (en)
- En teoría de la probabilidad y teoría de la información, la divergencia de Kullback-Leibler (KL) (también conocida como divergencia de la información, , entropía relativa o KLIC por sus siglas en inglés) es una medida no simétrica de la similitud o diferencia entre dos funciones de distribución de probabilidad P y Q. KL mide el número esperado de extra bits requeridos en muestras de código de P cuando se usa un código basado en Q, en lugar de un código basado en P. Generalmente P representa la "verdadera" distribución de los datos, observaciones, o cualquier distribución teórica. La medida Q generalmente representa una teoría, modelo, descripción o aproximación de P. Aunque a menudo se considera como una métrica o distancia, la divergencia KL no lo es en realidad — por ejemplo, no es simétrica: la divergencia KL de P a Q no necesariamente es la misma KL de Q a P. La divergencia KL es un caso especial de una clase más amplia de llamadas . Fue originalmente introducida por y en 1951 como la divergencia direccionada entre dos distribuciones. KL se puede derivar de la divergencia de Bregman. (es)
- En théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA[réf. nécessaire], c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona. (fr)
- In teoria della probabilità e in teoria dell'informazione, la divergenza di Kullback–Leibler (anche detta divergenza di informazione, entropia relativa, o KLIC) è una misura non simmetrica della differenza tra due distribuzioni di probabilità P e Q. Specificamente, la divergenza di Kullback–Leibler di Q da P, indicata con DKL(P||Q), è la misura dell'informazione persa quando Q è usata per approssimare P: KL misura il numero atteso di bit extra richiesti per la Codifica di Huffman di campioni P quando si utilizza un codice basato su Q, piuttosto che utilizzare un codice basato su P. Tipicamente P rappresenta la "vera" distribuzione di dati, osservazioni, o una distribuzione teorica calcolata con precisione. La misura Q tipicamente rappresenta una teoria, modello, descrizione, o approssimazione di P. Anche se è spesso pensata come una distanza, la divergenza KL non è una vera e propria metrica - per esempio, non è simmetrica: la KL da P a Q non è in genere la stessa KL da Q a P. Tuttavia, la sua forma infinitesimale, in particolare la sua matrice hessiana, è un tensore metrico: è l'informazione metrica di Fisher. La divergenza KL è un caso particolare di una classe più ampia di chiamata .È stata originariamente introdotta da e nel 1951 come divergenza diretta tra due distribuzioni.Può essere derivata dalla . (it)
- 쿨백-라이블러 발산(Kullback–Leibler divergence, KLD)은 두 확률분포의 차이를 계산하는 데에 사용하는 함수로, 어떤 이상적인 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산한다. 상대 엔트로피(relative entropy), 정보 획득량(information gain), 인포메이션 다이버전스(information divergence)라고도 한다. 정보이론에서는 상대 엔트로피, 기계학습의 결정 트리에서는 정보 획득량을 주로 사용한다. 쿨백-라이블러 발산은 비대칭으로, 두 값의 위치를 바꾸면 함수값도 달라진다. 따라서 이 함수는 거리 함수는 아니다. (ko)
- カルバック・ライブラー情報量（カルバック・ライブラーじょうほうりょう、カルバック・ライブラー・ダイバージェンス、英: Kullback–Leibler divergence）とは、確率論と情報理論における2つの確率分布の差異を計る尺度である。情報ダイバージェンス（英: information divergence）、情報利得（英: information gain）、相対エントロピー（英: relative entropy）とも呼ばれる。2つの確率分布の差異を表す事から、カルバック・ライブラー距離 と呼ばれる事もあるが、距離の公理を満たさないので、数学的な意味での距離ではない。 応用上は、「真の」確率分布 P とそれ以外の任意の確率分布 Q に対するカルバック・ライブラー情報量が計算される事が多い。例えばP はデータ、観測値、正確に計算で求められた確率分布などを表し、Q は理論値、モデル値、P の予測値などを表す。 この概念は1951年、とが2つの分布の間の directed divergence として用いたのが最初であり、ベクトル解析におけるダイバージェンスとは異なる概念である。 カルバック・ライブラー情報量は離散分布のみならず連続分布に対しても定義されており、連続分布に対するカルバック・ライブラー情報量は変数変換について不変である。従って、情報理論の他の量（自己情報量やエントロピー）よりも基本的であるとも言える。というのも、それらは離散的でない確率については未定義だったり、変数変換に対して不変ではなかったりするからである。 (ja)
- A divergência de Kullback-Leibler (também chamada de entropia relativa) é uma medida não-simétrica da diferença entre duas distribuições de probabilidade. Especificamente, A divergência de Kullback–Leibler de Q dado P, indicada com DKL(P||Q), é a medida da informação perdida quando Q è usada para aproximar o valor de P: Ainda que frequentemente vista como uma distância, a divergência KL não é, estritatemente, uma métrica de distância. Por exemplo, falta-le simetria: a KL de P dado Q não é, de forma geral, a mesma KL de Q dado P. Uma divergência de Kullback-Leibler igual a 0 indica que as funçõe/distribuições P e Q são muito parecidas (iguais, até), enquanto uma divergência de 1 indica que se comportam de maneira diferente. As aplicações da medida incluem a caracterização da entropia (teoria da informação) em sistemas de informação, a aleatoriedade, em séries temporais, ganho de informação ao comparar com modelos estatísticos de inferência. Em versões simplificadas, é usada também em estatística aplicada, mecânica dos fluidos, neurociência e aprendizado de máquina. (pt)
- Dywergencja Kullbacka-Leiblera (zwana też entropią względną lub relatywną entropią) jest miarą stosowaną w statystyce i teorii informacji do określenia rozbieżności między dwoma rozkładami prawdopodobieństwa i Czasem zwana jest też odległością Kullbacka-Leiblera, nie jest to jednak prawdziwa metryka, gdyż nie jest symetryczna ani nie spełnia nierówności trójkąta. (pl)
- Расстояние (расхождение, дивергенция) Ку́льбака — Ле́йблера (англ. Kullback–Leibler divergence), РКЛ, информационное расхождение, различающая информация, информационный выигрыш, относительная энтропия (англ. relative entropy) — неотрицательнозначный функционал, являющийся несимметричной мерой удалённости друг от друга двух вероятностных распределений, определённых на общем пространстве элементарных событий. Часто применяется в теории информации и математической статистике. (ru)
- KL散度（Kullback-Leibler divergence，簡稱KLD），在訊息系统中称为相对熵（relative entropy），在连续时间序列中称为随机性（randomness），在统计模型推断中称为訊息增益（information gain）。也称訊息散度（information divergence）。 KL散度是两个機率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、估计的模型分布、或P的近似分布。 (zh)
- В математичній статистиці розхо́дження, диверге́нція або ві́дстань Кульбака — Лейблера (що також називають відно́сною ентропі́єю, англ. Kullback–Leibler divergence, relative entropy) є мірою того, наскільки один розподіл імовірності відрізняється від іншого, еталонного розподілу ймовірності. До його застосувань належать відно́сна (шеннонова) ентропі́я в інформаційних системах, випадко́вість (англ. randomness) у неперервних часових рядах, та при́ріст інформа́ції (англ. information gain) при порівнюванні статистичних моделей висновування. На противагу до , воно є асиметричною міжрозподіловою мірою, і відтак не відповідає вимогам статистичної метрики розкиду. В простому випадку нульове розходження Кульбака — Лейблера показує, що два розглядані розподіли є ідентичними. Простішими словами, воно є мірою несподіваності, з різноманітними застосуваннями, такими як прикладна статистика, гідромеханіка, нейронаука та машинне навчання. (uk)
|
| rdfs:comment
|
- في الاحصاء الرياضي ، فإن تباعد كولباك - ليبلير (وتسمى أيضا الانتروبية النسبية) (بالإنجليزية: Kullback–Leibler divergence) هو مقياس لمدى اختلاف توزيع احتمالي واحد عن توزيع احتمالي مرجعي آخر. تتضمن تطبيقات تباعد كولباك - ليبلير توصيف اعتلاج شانون (Shannon) النسبي في نظم المعلومات، والعشوائية في السلاسل الزمنية المستمرة، واكتساب المعلومات عند مقارنة النماذج الإحصائية للاستدلال. على النقيض من تباين المعلومات، فإن تباعد كولباك - ليبلير هو مقياس غير متساوي من حيث التوزيع وبالتالي فهو غير مؤهل كمقياس إحصائي للانتشار. في الحالة البسيطة، يشير تباعد كولباك - ليبلير ذو القيمة 0 إلى أن التوزيعتين المعنيتين متطابقتان. وهو يبقى مقياس مهم بالنسبة لتطبيقات عديدة مثل الإحصاءات التطبيقية، ميكانيكا الموائع، علم الأعصاب والتعلم الآلي . (ar)
- En théorie des probabilités et en théorie de l'information, la divergence de Kullback-Leibler (ou divergence K-L ou encore entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. Elle doit son nom à Solomon Kullback et Richard Leibler, deux cryptanalystes américains. Selon la NSA[réf. nécessaire], c'est durant les années 1950, alors qu'ils travaillaient pour cette agence, que Kullback et Leibler ont inventé cette mesure. Elle aurait d'ailleurs servi à la NSA dans son effort de cryptanalyse pour le projet Venona. (fr)
- 쿨백-라이블러 발산(Kullback–Leibler divergence, KLD)은 두 확률분포의 차이를 계산하는 데에 사용하는 함수로, 어떤 이상적인 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산한다. 상대 엔트로피(relative entropy), 정보 획득량(information gain), 인포메이션 다이버전스(information divergence)라고도 한다. 정보이론에서는 상대 엔트로피, 기계학습의 결정 트리에서는 정보 획득량을 주로 사용한다. 쿨백-라이블러 발산은 비대칭으로, 두 값의 위치를 바꾸면 함수값도 달라진다. 따라서 이 함수는 거리 함수는 아니다. (ko)
- Dywergencja Kullbacka-Leiblera (zwana też entropią względną lub relatywną entropią) jest miarą stosowaną w statystyce i teorii informacji do określenia rozbieżności między dwoma rozkładami prawdopodobieństwa i Czasem zwana jest też odległością Kullbacka-Leiblera, nie jest to jednak prawdziwa metryka, gdyż nie jest symetryczna ani nie spełnia nierówności trójkąta. (pl)
- Расстояние (расхождение, дивергенция) Ку́льбака — Ле́йблера (англ. Kullback–Leibler divergence), РКЛ, информационное расхождение, различающая информация, информационный выигрыш, относительная энтропия (англ. relative entropy) — неотрицательнозначный функционал, являющийся несимметричной мерой удалённости друг от друга двух вероятностных распределений, определённых на общем пространстве элементарных событий. Часто применяется в теории информации и математической статистике. (ru)
- KL散度（Kullback-Leibler divergence，簡稱KLD），在訊息系统中称为相对熵（relative entropy），在连续时间序列中称为随机性（randomness），在统计模型推断中称为訊息增益（information gain）。也称訊息散度（information divergence）。 KL散度是两个機率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、估计的模型分布、或P的近似分布。 (zh)
- Kullbackova–Leiblerova divergence neboli Kullbackova–Leiblerova divergenční míra neboli Kullbackova–Leiblerova vzdálenost neboli relativní entropie čili diskriminační informace je jedna z měr používaných v matematické statistice pro stanovení, jak se jedna distribuční funkce (P) odlišuje od jiné (Q). Kullbackova–Leiblerova divergence DKL(P‖Q) nabývá hodnoty nula, právě když se distribuce P a Q rovnají skoro všude; v opačném případě je divergence kladná. Míra není symetrická, což znamená že DKL(P‖Q) nemusí nutně být totéž jako DKL(Q‖P). Jejími autory jsou a , kteří ji uveřejnili roku 1951. (cs)
- Die Begriffe Kullback-Leibler-Divergenz (kurz KL-Divergenz) und Kullback-Leibler-Abstand (auch Kullback-Leibler-Entropie oder Kullback-Leibler-Information, nach Solomon Kullback und Richard Leibler; englisch Information Gain) bezeichnen ein Maß für die Unterschiedlichkeit zweier Wahrscheinlichkeitsverteilungen. Typischerweise repräsentiert dabei eine der Verteilungen empirische Beobachtungen oder eine präzise Wahrscheinlichkeitsverteilung, während die andere ein Modell oder eine Approximation darstellt. (de)
- En teoría de la probabilidad y teoría de la información, la divergencia de Kullback-Leibler (KL) (también conocida como divergencia de la información, , entropía relativa o KLIC por sus siglas en inglés) es una medida no simétrica de la similitud o diferencia entre dos funciones de distribución de probabilidad P y Q. KL mide el número esperado de extra bits requeridos en muestras de código de P cuando se usa un código basado en Q, en lugar de un código basado en P. Generalmente P representa la "verdadera" distribución de los datos, observaciones, o cualquier distribución teórica. La medida Q generalmente representa una teoría, modelo, descripción o aproximación de P. (es)
- In mathematical statistics, the Kullback–Leibler divergence (also called relative entropy and I-divergence), denoted , is a type of statistical distance: a measure of how one probability distribution P is different from a second, reference probability distribution Q. A simple of the KL divergence of P from Q is the expected excess surprise from using Q as a model when the actual distribution is P. While it is a distance, it is not a metric, the most familiar type of distance: it is not symmetric in the two distributions (in contrast to variation of information), and does not satisfy the triangle inequality. Instead, in terms of information geometry, it is a type of divergence, a generalization of squared distance, and for certain classes of distributions (notably an exponential family), i (en)
- In teoria della probabilità e in teoria dell'informazione, la divergenza di Kullback–Leibler (anche detta divergenza di informazione, entropia relativa, o KLIC) è una misura non simmetrica della differenza tra due distribuzioni di probabilità P e Q. Specificamente, la divergenza di Kullback–Leibler di Q da P, indicata con DKL(P||Q), è la misura dell'informazione persa quando Q è usata per approssimare P: KL misura il numero atteso di bit extra richiesti per la Codifica di Huffman di campioni P quando si utilizza un codice basato su Q, piuttosto che utilizzare un codice basato su P. Tipicamente P rappresenta la "vera" distribuzione di dati, osservazioni, o una distribuzione teorica calcolata con precisione. La misura Q tipicamente rappresenta una teoria, modello, descrizione, o approssimazi (it)
- カルバック・ライブラー情報量（カルバック・ライブラーじょうほうりょう、カルバック・ライブラー・ダイバージェンス、英: Kullback–Leibler divergence）とは、確率論と情報理論における2つの確率分布の差異を計る尺度である。情報ダイバージェンス（英: information divergence）、情報利得（英: information gain）、相対エントロピー（英: relative entropy）とも呼ばれる。2つの確率分布の差異を表す事から、カルバック・ライブラー距離 と呼ばれる事もあるが、距離の公理を満たさないので、数学的な意味での距離ではない。 応用上は、「真の」確率分布 P とそれ以外の任意の確率分布 Q に対するカルバック・ライブラー情報量が計算される事が多い。例えばP はデータ、観測値、正確に計算で求められた確率分布などを表し、Q は理論値、モデル値、P の予測値などを表す。 この概念は1951年、とが2つの分布の間の directed divergence として用いたのが最初であり、ベクトル解析におけるダイバージェンスとは異なる概念である。 (ja)
- A divergência de Kullback-Leibler (também chamada de entropia relativa) é uma medida não-simétrica da diferença entre duas distribuições de probabilidade. Especificamente, A divergência de Kullback–Leibler de Q dado P, indicada com DKL(P||Q), é a medida da informação perdida quando Q è usada para aproximar o valor de P: Ainda que frequentemente vista como uma distância, a divergência KL não é, estritatemente, uma métrica de distância. Por exemplo, falta-le simetria: a KL de P dado Q não é, de forma geral, a mesma KL de Q dado P. (pt)
- В математичній статистиці розхо́дження, диверге́нція або ві́дстань Кульбака — Лейблера (що також називають відно́сною ентропі́єю, англ. Kullback–Leibler divergence, relative entropy) є мірою того, наскільки один розподіл імовірності відрізняється від іншого, еталонного розподілу ймовірності. До його застосувань належать відно́сна (шеннонова) ентропі́я в інформаційних системах, випадко́вість (англ. randomness) у неперервних часових рядах, та при́ріст інформа́ції (англ. information gain) при порівнюванні статистичних моделей висновування. На противагу до , воно є асиметричною міжрозподіловою мірою, і відтак не відповідає вимогам статистичної метрики розкиду. В простому випадку нульове розходження Кульбака — Лейблера показує, що два розглядані розподіли є ідентичними. Простішими словами, воно (uk)
|
