About: Rényi entropy     Goto   Sponge   NotDistinct   Permalink

An Entity of Type : owl:Thing, within Data Space : dbpedia.org associated with source document(s)
QRcode icon
http://dbpedia.org/describe/?url=http%3A%2F%2Fdbpedia.org%2Fresource%2FRényi_entropy&graph=http%3A%2F%2Fdbpedia.org&graph=http%3A%2F%2Fdbpedia.org

In information theory, the Rényi entropy is a quantity that generalizes various notions of entropy, including Hartley entropy, Shannon entropy, collision entropy, and min-entropy. The Rényi entropy is named after Alfréd Rényi, who looked for the most general way to quantify information while preserving additivity for independent events. In the context of fractal dimension estimation, the Rényi entropy forms the basis of the concept of generalized dimensions.

AttributesValues
rdfs:label
  • Rényi-Entropie (de)
  • Entropía de Rényi (es)
  • Entropie de Rényi (fr)
  • 레니 엔트로피 (ko)
  • Rényi entropy (en)
  • Энтропия Реньи (ru)
  • Ентропія Реньї (uk)
rdfs:comment
  • L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la d'une variable aléatoire. (fr)
  • 양자 정보 이론에서 레니 엔트로피(영어: Rényi entropy)는 통상적인 엔트로피의 일반화이다. 하나의 매개변수 을 가지며, 레니 엔트로피의 극한은 통상적인 엔트로피이다. (ko)
  • In der Informationstheorie ist die Rényi-Entropie (benannt nach Alfréd Rényi) eine Verallgemeinerung der Shannon-Entropie.Die Rényi-Entropie gehört zu der Familie von Funktionen, die zum Quantifizieren der Diversität, Ungewissheit oder Zufälligkeit eines Systems dienen. Die Rényi-Entropie der Ordnung α, wobei α > 0, ist definiert als: Hier einige Einzelfälle: welche der Logarithmus der Mächtigkeit von X ist, der manchmal auch die „Hartley-Entropie“ von X genannt wird. Nähert sich die Grenze von gegen 1 (L’Hospital) so ergibt sich: das der „Shannon-Entropie/Informationsentropie“ entspricht. Weiter (de)
  • En teoría de la información, la entropía de Rényi generaliza la entropía de Hartley, la entropía de Shannon, la y la . Las entropías cuantifican la diversidad, incertidumbre o aleatoriedad de un sistema. La entropía de Rényi lleva el nombre de Alfréd Rényi.​ En el contexto de estimación de la dimensión fractal, la entropía de Rényi forma la base del concepto de . (es)
  • In information theory, the Rényi entropy is a quantity that generalizes various notions of entropy, including Hartley entropy, Shannon entropy, collision entropy, and min-entropy. The Rényi entropy is named after Alfréd Rényi, who looked for the most general way to quantify information while preserving additivity for independent events. In the context of fractal dimension estimation, the Rényi entropy forms the basis of the concept of generalized dimensions. (en)
  • В теории информации энтропия Реньи — обобщение энтропии Шеннона — является семейством функционалов, используемых в качестве меры количественного разнообразия, неопределённости или случайности некоторой системы. Названа в честь Альфреда Реньи. Если некоторая система имеет дискретное множество доступных состояний , которому соответствует распределение вероятностей для (то есть — вероятности пребывания системы в состояниях ), тогда энтропия Реньи с параметром (при и ) системы определяется как , (ru)
  • У теорії інформації ентропія Реньї — узагальнення ентропії Шеннона — є сімейством функціоналів, використовуваних як міра кількісної різноманітності, невизначеності або випадковості деякої системи. Названо на честь Альфреда Реньї. Якщо деяка система має дискретну множину доступних станів , якій відповідає розподіл імовірностей для (тобто — ймовірності перебування системи в станах ), то ентропія Реньї з параметром (при і ) системи визначається як , (uk)
foaf:depiction
  • http://commons.wikimedia.org/wiki/Special:FilePath/Mplwp_reny_entropy012inf.svg
dcterms:subject
Wikipage page ID
Wikipage revision ID
Link from a Wikipage to another Wikipage
Link from a Wikipage to an external page
sameAs
dbp:wikiPageUsesTemplate
thumbnail
id
  • p/r081270 (en)
title
  • Rényi test (en)
has abstract
  • In der Informationstheorie ist die Rényi-Entropie (benannt nach Alfréd Rényi) eine Verallgemeinerung der Shannon-Entropie.Die Rényi-Entropie gehört zu der Familie von Funktionen, die zum Quantifizieren der Diversität, Ungewissheit oder Zufälligkeit eines Systems dienen. Die Rényi-Entropie der Ordnung α, wobei α > 0, ist definiert als: Hierbei ist X eine Zufallsvariable mit Wertebereich {x1, x2 ... xn} und pi die Wahrscheinlichkeit, dass X=xi. Wenn die Wahrscheinlichkeiten pi alle gleich sind, dann ist Hα(X)=log2 n, unabhängig von α. Andernfalls sind die Entropien monoton fallend als eine Funktion von α. Hier einige Einzelfälle: welche der Logarithmus der Mächtigkeit von X ist, der manchmal auch die „Hartley-Entropie“ von X genannt wird. Nähert sich die Grenze von gegen 1 (L’Hospital) so ergibt sich: das der „Shannon-Entropie/Informationsentropie“ entspricht. Weiter das der „Korrelationsentropie“ entspricht. Der Grenzwert von für ist und wird auch genannt, da es der kleinste Wert von ist. Die Rényi-Entropien sind in der Ökologie und Statistik als Indizes der Vielfältigkeit wichtig. Sie führen auch zu einem Spektrum von Indizes der fraktalen Dimension. (de)
  • En teoría de la información, la entropía de Rényi generaliza la entropía de Hartley, la entropía de Shannon, la y la . Las entropías cuantifican la diversidad, incertidumbre o aleatoriedad de un sistema. La entropía de Rényi lleva el nombre de Alfréd Rényi.​ En el contexto de estimación de la dimensión fractal, la entropía de Rényi forma la base del concepto de . La entropía de Rényi es importante en ecología y estadística como . La entropía de Rényi también es importante en información cuántica, donde se puede usar como medida del entrelazamiento. En el modelo de Heisenberg de cadena de espín XY, se puede calcular explícitamente la entropía de Rényi como función de α gracias al hecho de que es una función automórfica con respecto a un subgrupo particular del grupo modular.​​ En ciencia computacional teórica, la entropía min se usa en el contexto de . (es)
  • L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la d'une variable aléatoire. (fr)
  • In information theory, the Rényi entropy is a quantity that generalizes various notions of entropy, including Hartley entropy, Shannon entropy, collision entropy, and min-entropy. The Rényi entropy is named after Alfréd Rényi, who looked for the most general way to quantify information while preserving additivity for independent events. In the context of fractal dimension estimation, the Rényi entropy forms the basis of the concept of generalized dimensions. The Rényi entropy is important in ecology and statistics as index of diversity. The Rényi entropy is also important in quantum information, where it can be used as a measure of entanglement. In the Heisenberg XY spin chain model, the Rényi entropy as a function of α can be calculated explicitly because it is an automorphic function with respect to a particular subgroup of the modular group. In theoretical computer science, the min-entropy is used in the context of randomness extractors. (en)
  • 양자 정보 이론에서 레니 엔트로피(영어: Rényi entropy)는 통상적인 엔트로피의 일반화이다. 하나의 매개변수 을 가지며, 레니 엔트로피의 극한은 통상적인 엔트로피이다. (ko)
  • У теорії інформації ентропія Реньї — узагальнення ентропії Шеннона — є сімейством функціоналів, використовуваних як міра кількісної різноманітності, невизначеності або випадковості деякої системи. Названо на честь Альфреда Реньї. Якщо деяка система має дискретну множину доступних станів , якій відповідає розподіл імовірностей для (тобто — ймовірності перебування системи в станах ), то ентропія Реньї з параметром (при і ) системи визначається як , де кутовими дужками позначено математичне очікування за розподілом ( — ймовірність перебування системи в деякому стані як випадкова величина), логарифм береться за основою 2 (для рахунку в бітах) чи іншою зручною основою (більшою від 1). Основа логарифма визначає одиницю вимірювання ентропії. Так, у математичній статистиці зазвичай використовується натуральний логарифм. Якщо всі ймовірності , тоді за будь-якого ентропія Реньї . Інакше -ентропія спадає як функція . Причому вищі значення (що прямують до нескінченності) надають ентропії Реньї значення, більшою мірою визначені лише найвищими ймовірностями подій (тобто внесок в ентропію малоймовірних станів зменшується). Проміжний випадок у границі дає ентропію Шеннона, яка має особливі властивості. Нижчі значення (що прямують до нуля), дають значення ентропії Реньї, яке зважує можливі події рівномірніше, менше залежно від їх імовірностей. А при отримуємо максимально можливу -ентропію, рівну незалежно від розподілу (тільки аби ). Сенс параметра можна описати, кажучи неформальною мовою, як сприйнятливість функціоналу до відхилення стану системи від рівноважного: що більше , то швидше зменшується ентропія за відхилення системи від рівноважного стану. Сенс обмеження полягає в тому, щоб забезпечувалося збільшення ентропії за наближення системи до рівноважного (більш імовірного) стану. Ця вимога є природною для поняття «ентропія». Слід зауважити, що для ентропії Цалліса, яка еквівалентна ентропії Реньї з точністю до незалежного від , відповідне обмеження часто опускають, при цьому для від'ємних значень параметра замість максимізації ентропії використовують її мінімізацію. Ентропія Реньї відіграє важливу роль в екології і статистиці, визначаючи так звані індекси різноманітності. Ентропія Реньї також важлива в квантовій інформації, її можна використовувати як міру складності. У ланцюжку Гейзенберга ентропію Реньї розраховано в термінах модулярних функцій, що залежать від . Вони також призводять до спектру показників фрактальної розмірності. (uk)
  • В теории информации энтропия Реньи — обобщение энтропии Шеннона — является семейством функционалов, используемых в качестве меры количественного разнообразия, неопределённости или случайности некоторой системы. Названа в честь Альфреда Реньи. Если некоторая система имеет дискретное множество доступных состояний , которому соответствует распределение вероятностей для (то есть — вероятности пребывания системы в состояниях ), тогда энтропия Реньи с параметром (при и ) системы определяется как , где угловыми скобками обозначено математическое ожидание по распределению ( — вероятность пребывания системы в некотором состоянии как случайная величина), логарифм берётся по основанию 2 (для счёта в битах) либо по другому удобному основанию (оно должно быть больше 1). Основание логарифма определяет единицу измерения энтропии. Так, в математической статистике обычно используется натуральный логарифм. Если все вероятности , тогда при любом энтропия Реньи . Иначе -энтропия убывает как функция . Притом более высокие значения (уходящие в бесконечность) дают энтропии Реньи значения, которые в большей степени определены лишь самыми высокими вероятностями событий (то есть вклад в энтропию маловероятных состояний уменьшается). Промежуточный случай в пределе даёт энтропию Шеннона, которая обладает особыми свойствами. Более низкие значения (стремящиеся к нулю), дают значение энтропии Реньи, которое взвешивает возможные события более равномерно, менее зависимо от их вероятностей. А при получаем максимально возможную -энтропию, равную независимо от распределения (лишь бы ). Смысл параметра можно описать, говоря неформальным языком, как восприимчивость функционала к отклонению состояния системы от равновесного: чем больше , тем быстрее уменьшается энтропия при отклонении системы от равновесного состояния. Смысл ограничения заключается в том, чтобы обеспечивалось увеличение энтропии при приближении системы к равновесному (более вероятному) состоянию. Это требование является естественным для понятия энтропия. Следует заметить, что для энтропии Цаллиса, которая эквивалентна энтропии Реньи с точностью до не зависящего от , соответствующее ограничение часто опускают, при этом для отрицательных значений параметра вместо максимизации энтропии используют её минимизацию. Энтропия Реньи играет важную роль в экологии и статистике, определяя так называемые индексы разнообразия. Энтропия Реньи также важна в квантовой информации, она может быть использована в качестве меры сложности. В цепочке Гейзенберга энтропия Реньи была рассчитана в терминах модулярных функций, зависящих от . Они также приводят к спектру показателей фрактальной размерности. (ru)
prov:wasDerivedFrom
page length (characters) of wiki page
foaf:isPrimaryTopicOf
is Link from a Wikipage to another Wikipage of
Faceted Search & Find service v1.17_git139 as of Feb 29 2024


Alternative Linked Data Documents: ODE     Content Formats:   [cxml] [csv]     RDF   [text] [turtle] [ld+json] [rdf+json] [rdf+xml]     ODATA   [atom+xml] [odata+json]     Microdata   [microdata+json] [html]    About   
This material is Open Knowledge   W3C Semantic Web Technology [RDF Data] Valid XHTML + RDFa
OpenLink Virtuoso version 08.03.3330 as of Mar 19 2024, on Linux (x86_64-generic-linux-glibc212), Single-Server Edition (378 GB total memory, 55 GB memory in use)
Data on this page belongs to its respective rights holders.
Virtuoso Faceted Browser Copyright © 2009-2024 OpenLink Software