| dbo:abstract
|
- Die differentielle Entropie ist ein Begriff aus der Informationstheorie und stellt ein Maß für die Entropie einer kontinuierlichen Zufallsvariable dar, ähnlich der Shannon-Entropie für diskrete Zufallsvariablen. Genaugenommen ist sie eine Kennzahl einer Wahrscheinlichkeitsverteilung. Sie kann zum Vergleich zweier kontinuierlicher Zufallsvariablen herangezogen werden, besitzt jedoch nicht die gleiche Aussage wie die Shannon-Entropie. Einen Versuch die differentielle Entropie anzupassen, um ähnliche Eigenschaften wie die der Shannon-Entropie zu erhalten, ist die "limiting density of discrete points" von Edwin Thompson Jaynes. (de)
- Differential entropy (also referred to as continuous entropy) is a concept in information theory that began as an attempt by Claude Shannon to extend the idea of (Shannon) entropy, a measure of average surprisal of a random variable, to continuous probability distributions. Unfortunately, Shannon did not derive this formula, and rather just assumed it was the correct continuous analogue of discrete entropy, but it is not. The actual continuous version of discrete entropy is the limiting density of discrete points (LDDP). Differential entropy (described here) is commonly encountered in the literature, but it is a limiting case of the LDDP, and one that loses its fundamental association with discrete entropy. In terms of measure theory, the differential entropy of a probability measure is the negative relative entropy from that measure to the Lebesgue measure, where the latter is treated as if it were a probability measure, despite being unnormalized. (en)
- L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues. (fr)
- 微分エントロピー（びぶんエントロピー、英: differential entropy）または連続エントロピー（continuous entropy）は情報理論における概念で、シャノン情報量（確率変数が持つ平均的の尺度）を連続型確率分布にまで拡張するクロード・シャノンの試みに端を発する。情報量の概念を連続量まで真に拡張したものに （LDDP）がある。本記事で述べる微分エントロピーは文献でよく目にするものだが、LDDPに制限を加えた特別な場合の一つであり、離散的情報量の持つ基本的な性質のいくつかを失っている。 (ja)
- Дифференциальная энтропия — функционал, заданный на множестве абсолютно непрерывных распределений вероятностей, формальный аналог понятия информационной энтропии Шеннона для случая непрерывной случайной величины. В теории информации функционал был эвристически введён К. Шенноном, однако он не является автором термина «дифференциальная энтропия». Сам термин был введён А. Н. Колмогоровым совместно с И. М. Гельфандом и А. М. Ягломом и подчёркивает то, что данное понятие имеет иной смысл, нежели энтропия дискретных распределений. Ими же получен строгий вывод дифференциальной энтропии как первого члена асимптотического разложения энтропии, в котором проявляется зависимость от распределения случайной величины. Для непрерывной случайной величины , распределённой на, дифференциальная энтропия определяется как , где — плотность распределения случайной величины (или сигнала непрерывного источника как случайной величины). Выбор основания логарифма в этой формуле (оно должно быть больше 1) определяет единицу измерения соответствующего количества информации. Так, в теории информации часто используют двоичный логарифм, что соответствует единице количества информации бит, а функционал интерпретируется как средняя информация непрерывного источника. В математической статистике в определении дифференциальной энтропии по соображениям удобства обычно используют натуральный логарифм (соответствующая единица нат), функционал интерпретируется как мера неопределённости непрерывного распределения. Дифференциальная энтропия неинвариантна по отношению к преобразованиям координат случайной величины и не имеет самостоятельного смысла (имеет неинтерпретируемое числовое значение). Более того, если случайная величина имеет размерность, то функционал дифференциальной энтропии будет некорректен с точки зрения размерности, поскольку под знаком логарифма оказывается размерная величина. Однако разность дифференциальных энтропий двух случайных величин, распределённых на одном множестве, является корректной, причём безразмерной величиной и совпадает с разностью их энтропий. Поскольку энтропия любой непрерывной случайной величины бесконечна, при взятии разности энтропий нужно раскрыть неопределённость, используя асимптотическое разложение. Таким образом, возможность выражать дифференциальную энтропию в битах (или других единицах) довольно условна: ситуация здесь подобна измерению температуры в градусах Цельсия, которые, хотя и совпадают по величине с кельвинами, не являются абсолютной шкалой температуры, а имеют относительно неё некоторый сдвиг (по этой причине дифференциальная энтропия, как и температура по шкале Цельсия, может быть отрицательной). Отличие состоит в том, что в случае с дифференциальной энтропией этот сдвиг является бесконечным по отношению к абсолютной шкале, определяемой значениями энтропии. Т.е. абсолютную шкалу для энтропии непрерывных распределений нельзя выбрать, но с помощью дифференциальной энтропии можно сравнивать энтропии различных распределений. В некоторых источниках дифференциальную энтропию распределения интерпретируют как его энтропию относительно энтропии равномерного распределения на промежутке единичной длины, поскольку последнее имеет равную нулю дифференциальную энтропию. Нужно заметить, что такой подход не вполне корректен, так как энтропия в непрерывном случае зависит от того, каким образом шаг дискретизации при разбиении промежутка стремится к нулю. Лишь в случае, когда рассматривается один и тот же промежуток, можно считать, что при вычислении энтропии используется одинаковая его дискретизация для каждого из распределений, тогда разность энтропий стремится к конечному пределу. В общем случае (при произвольной дискретизации) разность энтропий непрерывных случайных величин не стремится ни к какому пределу. (ru)
- Диференціальна ентропія (англ. differential entropy, також англ. continuous entropy) — функціонал, визначений на множині абсолютно неперервних розподілів імовірностей, формальний аналог поняття інформаційної ентропії Шеннона для випадку неперервної випадкової величини. У теорії інформації функціонал евристично ввів К. Шеннон, однак він не є автором терміна «диференціальна ентропія». Сам термін уведено А. М. Колмогоровим спільно з І. М. Гельфандом і , він підкреслює, що це поняття має інший зміст, ніж ентропія дискретних розподілів. Вони ж отримали строге виведення диференціальної ентропії як першого члена асимптотичного розкладу ентропії, в якому проявляється залежність від розподілу випадкової величини. Для неперервної випадкової величини , розподіленої на, диференціальна ентропія визначається як , де — густина розподілу випадкової величини (або сигналу неперервного джерела як випадкової величини). Вибір основи логарифма в цій формулі (яка має бути більшою від 1) визначає одиницю вимірювання відповідної кількості інформації. Так, у теорії інформації часто використовують двійковий логарифм, що відповідає одиниці кількості інформації біт, а функціонал інтерпретується як середня інформація неперервного джерела. У математичній статистиці у визначенні диференціальної ентропії з міркувань зручності зазвичай використовують натуральний логарифм (відповідна одиниця нат), функціонал інтерпретується як міра невизначеності неперервного розподілу. Диференціальна ентропія не інваріантна відносно перетворень координат випадкової величини і не має самостійного сенсу. Більш того, якщо випадкова величина має розмірність, то функціонал диференціальної ентропії буде некоректним з точки зору розмірності (оскільки під знаком логарифма виявляється розмірна величина). Однак різниця диференціальних ентропій двох випадкових величин, розподілених на одній множині, є коректною, причому безрозмірною величиною і збігається з різницею їхніх ентропій (оскільки ентропія будь-якої неперервної випадкової величини нескінченна, при взятті різниці ентропій потрібно розкрити невизначеність, скориставшись асимптотичним розкладом). Таким чином, можливість виражати диференціальну ентропію в бітах (або інших одиницях) досить умовна: ситуація тут подібна до вимірювання температури в градусах Цельсія, які, хоча й збігаються за величиною з кельвінами, але не є абсолютною шкалою температури, а мають відносно неї деякий зсув (тому диференціальна ентропія, як і температура за шкалою Цельсія, може бути від'ємною). Відмінність полягає в тому, що у випадку з диференціальною ентропією цей зсув є нескінченним відносно абсолютної шкали, яка визначається значеннями ентропії. Тобто, абсолютну шкалу для ентропії неперервних розподілів обрати неможливо, але за допомогою диференціальної ентропії можна порівнювати ентропії різних розподілів. У деяких джерелах диференціальну ентропію розподілу інтерпретують як його ентропію відносно ентропії рівномірного розподілу на проміжку одиничної довжини, оскільки останній має рівну нулю диференціальну ентропію. Потрібно зауважити, що такий підхід не зовсім коректний, оскільки ентропія в неперервному випадку залежить від того, яким чином крок дискретизації при розбитті проміжку прямує до нуля. Лише в разі, коли розглядається один і той самий проміжок, можна вважати, що при обчисленні ентропії використовується однакова його дискретизація для кожного з розподілів, тоді різниця ентропій прямує до скінченної границі. У загальному випадку (за довільної дискретизації) різниця ентропій неперервних випадкових величин не прямує до жодної границі. (uk)
- 微分熵是消息理論中的一個概念，是從以離散隨機變數所計算出的夏農熵推廣，以連續型隨機變數計算所得之熵，微分熵與離散隨機變數所計算出之夏農熵，皆可代表描述一信息所需碼長的下界，然而，微分熵與夏農熵仍存在著某些相異的性質。 (zh)
|
| rdfs:comment
|
- L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues. (fr)
- 微分エントロピー（びぶんエントロピー、英: differential entropy）または連続エントロピー（continuous entropy）は情報理論における概念で、シャノン情報量（確率変数が持つ平均的の尺度）を連続型確率分布にまで拡張するクロード・シャノンの試みに端を発する。情報量の概念を連続量まで真に拡張したものに （LDDP）がある。本記事で述べる微分エントロピーは文献でよく目にするものだが、LDDPに制限を加えた特別な場合の一つであり、離散的情報量の持つ基本的な性質のいくつかを失っている。 (ja)
- 微分熵是消息理論中的一個概念，是從以離散隨機變數所計算出的夏農熵推廣，以連續型隨機變數計算所得之熵，微分熵與離散隨機變數所計算出之夏農熵，皆可代表描述一信息所需碼長的下界，然而，微分熵與夏農熵仍存在著某些相異的性質。 (zh)
- Die differentielle Entropie ist ein Begriff aus der Informationstheorie und stellt ein Maß für die Entropie einer kontinuierlichen Zufallsvariable dar, ähnlich der Shannon-Entropie für diskrete Zufallsvariablen. (de)
- Differential entropy (also referred to as continuous entropy) is a concept in information theory that began as an attempt by Claude Shannon to extend the idea of (Shannon) entropy, a measure of average surprisal of a random variable, to continuous probability distributions. Unfortunately, Shannon did not derive this formula, and rather just assumed it was the correct continuous analogue of discrete entropy, but it is not. The actual continuous version of discrete entropy is the limiting density of discrete points (LDDP). Differential entropy (described here) is commonly encountered in the literature, but it is a limiting case of the LDDP, and one that loses its fundamental association with discrete entropy. (en)
- Диференціальна ентропія (англ. differential entropy, також англ. continuous entropy) — функціонал, визначений на множині абсолютно неперервних розподілів імовірностей, формальний аналог поняття інформаційної ентропії Шеннона для випадку неперервної випадкової величини. У теорії інформації функціонал евристично ввів К. Шеннон, однак він не є автором терміна «диференціальна ентропія». Сам термін уведено А. М. Колмогоровим спільно з І. М. Гельфандом і , він підкреслює, що це поняття має інший зміст, ніж ентропія дискретних розподілів. Вони ж отримали строге виведення диференціальної ентропії як першого члена асимптотичного розкладу ентропії, в якому проявляється залежність від розподілу випадкової величини. Для неперервної випадкової величини , розподіленої на, диференціальна ентропія виз (uk)
- Дифференциальная энтропия — функционал, заданный на множестве абсолютно непрерывных распределений вероятностей, формальный аналог понятия информационной энтропии Шеннона для случая непрерывной случайной величины. В теории информации функционал был эвристически введён К. Шенноном, однако он не является автором термина «дифференциальная энтропия». Сам термин был введён А. Н. Колмогоровым совместно с И. М. Гельфандом и А. М. Ягломом и подчёркивает то, что данное понятие имеет иной смысл, нежели энтропия дискретных распределений. Ими же получен строгий вывод дифференциальной энтропии как первого члена асимптотического разложения энтропии, в котором проявляется зависимость от распределения случайной величины. Для непрерывной случайной величины , распределённой на, дифференциальная энтропия (ru)
|
