In information theory, the entropy of a random variable is the average level of "information", "surprise", or "uncertainty" inherent in the variable's possible outcomes. The concept of information entropy was introduced by Claude Shannon in his 1948 paper "A Mathematical Theory of Communication". As an example, consider a biased coin with probability p of landing on heads and probability 1-p of landing on tails. The maximum surprise is for p = 1/2, when there is no reason to expect one outcome over another, and in this case a coin flip has an entropy of one bit. The minimum surprise is when p = 0 or p = 1, when the event is known and the entropy is zero bits. Other values of p give different entropies between zero and one bits.

Property Value
dbo:abstract
  • انتروبي مصطلح يستخدم في علم نظرية المعلومات وهو مقياس الشك المرتبط بمتغير عشوائي. وفي هذا السياق، فإن مصطلح يشير عادة إلى الانتروبي شانون، الذي يتم تحديد كمية القيمة المتوقعة للمعلومات الواردة في رسالة. (ar)
  • L'entropia de Shannon, (formulada per Claude Shannon) és una funció matemàtica que intuïtivament es correspon amb la quantitat d'informació continguda o lliurada per una font d'informació. Aquesta font pot ser un text escrit en un idioma determinat, un senyal elèctric, un fitxer d'ordinador o qualsevol (col·lecció de bytes). Des del punt de vista d'un receptor, com més informació diferent emet la font, més gran és l'entropia (o incertesa sobre el que emet la font), i viceversa. Com més informació rep el receptor sobre el missatge transmès, més disminueix l'entropia (incertesa) respecte aquest missatge, per raó d'aquest augment d'informació. La definició d'entropia de Shannon és tal que com més redundant sigui la font, menys informació conté. En absència de restriccions particulars, l'entropia és màxima per a una font en la que tots els símbols són igualment probables (equiprobables). (ca)
  • Η εντροπία στη θεωρία πληροφορίας είναι ένα «μέτρο αβεβαιότητας» που διακατέχει ένα σύστημα. Ο όρος εντροπία χρησιμοποιήθηκε αρχικά στη θερμοδυναμική (βλ. εντροπία).Στη θεωρία πληροφορίας εισήχθη από τον Κλωντ Σάνον το 1948 και γι' αυτό ονομάζεται και εντροπία του Σάννον. Η χρήση του ίδιου όρου με τη θερμοδυναμική εντροπία, παρότι μπορεί να προκαλέσει σύγχυση, υιοθετήθηκε από τον Σάνον μετά και από παρότρυνση ενός άλλου σπουδαίου μαθηματικού, του Τζον φον Νόιμαν, ο οποίος φέρεται ότι είχε πει στον Σάνον: «Πρέπει να το ονομάσεις εντροπία για δύο λόγους: Πρώτον, η συνάρτηση αυτή χρησιμοποιείται ήδη στη θερμοδυναμική με το ίδιο όνομα. Δεύτερο, και σημαντικότερο, ο περισσότερος κόσμος δεν γνωρίζει τι πραγματικά είναι η εντροπία, και αν χρησιμοποιείς τον όρο εντροπία σε ένα αντεπιχείρημα θα κερδίζεις πάντα». Η εντροπία της θερμοδυναμικής μπορεί να αντιστοιχιστεί με την εντροπία στη θεωρία πληροφορίας. (el)
  • In information theory, the entropy of a random variable is the average level of "information", "surprise", or "uncertainty" inherent in the variable's possible outcomes. The concept of information entropy was introduced by Claude Shannon in his 1948 paper "A Mathematical Theory of Communication". As an example, consider a biased coin with probability p of landing on heads and probability 1-p of landing on tails. The maximum surprise is for p = 1/2, when there is no reason to expect one outcome over another, and in this case a coin flip has an entropy of one bit. The minimum surprise is when p = 0 or p = 1, when the event is known and the entropy is zero bits. Other values of p give different entropies between zero and one bits. Given a discrete random variable , with possible outcomes , which occur with probability , the entropy of is formally defined as: where denotes the sum over the variable's possible values and is the logarithm, the choice of base varying between different applications. Base 2 gives the unit of bits (or "shannons"), while base e gives the "natural units" nat, and base 10 gives a unit called "dits", "bans", or "hartleys". An equivalent definition of entropy is the expected value of the self-information of a variable. The entropy was originally created by Shannon as part of his theory of communication, in which a data communication system is composed of three elements: a source of data, a communication channel, and a receiver. In Shannon's theory, the "fundamental problem of communication" – as expressed by Shannon – is for the receiver to be able to identify what data was generated by the source, based on the signal it receives through the channel. Shannon considered various ways to encode, compress, and transmit messages from a data source, and proved in his famous source coding theorem that the entropy represents an absolute mathematical limit on how well data from the source can be losslessly compressed onto a perfectly noiseless channel. Shannon strengthened this result considerably for noisy channels in his noisy-channel coding theorem. Entropy in information theory is directly analogous to the entropy in statistical thermodynamics. Entropy has relevance to other areas of mathematics such as combinatorics. The definition can be derived from a set of axioms establishing that entropy should be a measure of how "surprising" the average outcome of a variable is. For a continuous random variable, differential entropy is analogous to entropy. (en)
  • Entropie (nach dem Kunstwort ἐντροπία) ist in der Informationstheorie ein Maß für den mittleren Informationsgehalt einer Nachricht. Der Begriff ist eng verwandt mit der Entropie in der Thermodynamik und statistischen Mechanik. Das informationstheoretische Verständnis des Begriffes Entropie geht auf Claude E. Shannon zurück und existiert seit etwa 1948. In diesem Jahr veröffentlichte Shannon seine fundamentale Arbeit A Mathematical Theory of Communication und prägte damit die moderne Informationstheorie. Die Entropie wird üblicherweise mit einem großen Eta () bezeichnet. (de)
  • En el ámbito de la teoría de la información la entropía, también llamada entropía de la información y entropía de Shannon (en honor a Claude E. Shannon), mide la incertidumbre de una fuente de información. La entropía también se puede considerar como la cantidad de información promedio que contienen los símbolos usados. Los símbolos con menor probabilidad son los que aportan mayor información; por ejemplo, si se considera como sistema de símbolos a las palabras en un texto, palabras frecuentes como «que», «el», «a» aportan poca información, mientras que palabras menos frecuentes como «corren», «niño», «perro» aportan más información. Si de un texto dado borramos un «que», seguramente no afectará a la comprensión y se sobreentenderá, no siendo así si borramos la palabra «niño» del mismo texto original. Cuando todos los símbolos son igualmente probables (distribución de probabilidad plana), todos aportan información relevante y la entropía es máxima. El concepto entropía es usado en termodinámica, mecánica estadística y teoría de la información. En todos los casos la entropía se concibe como una «medida del desorden» o la «peculiaridad de ciertas combinaciones». La entropía puede ser considerada como una medida de la incertidumbre y de la información necesaria para, en cualquier proceso, poder acotar, reducir o eliminar la incertidumbre. Resulta que el concepto de información y el de entropía están básicamente relacionados entre sí, aunque se necesitaron años de desarrollo de la mecánica estadística y de la teoría de la información antes de que esto fuera percibido. (es)
  • alorrean entropiak, informazio-entropia eta Shannonen entropia (Claude E. Shannon-en omenez) izenez ere ezagutua, informazio iturri baten ziurgabetasuna neurtzen du. Entropia kontzeptua termodinamikan, eta erabiltzen da. Kasu guztietan entropia «desordenaren neurri» edo «konbinazio jakin batzuen berezitasun» moduan ulertzen da. Ziurgabetasunaren neurri bat dela edo edozein prozesutan ziurgabetasun hori mugatzeko, murrizteko edo ezabatzeko behar den informazioa dela uler daiteke. Kontua da, informazioaren eta entropiaren kontzeptuek oso harreman estua dutela, nahiz eta hortaz konturatzeko mekanika estatistikoaren eta informazio-teoriaren arloetan lan handia egin behar izan zen. (eu)
  • L'entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (collection d'octets). Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande. Ainsi, si une source envoie toujours le même symbole, par exemple la lettre 'a', alors son entropie est nulle, c'est-à-dire minimale. En effet, un récepteur qui connaît seulement les statistiques de transmission de la source est assuré que le prochain symbole sera un 'a'. Par contre, si la source envoie un 'a' la moitié du temps et un 'b' l'autre moitié, le récepteur est incertain de la prochaine lettre à recevoir. L'entropie de la source dans ce cas est donc non nulle (positive) et représente quantitativement l'incertitude qui règne sur l'information émanant de la source. L'entropie indique alors la quantité d'information nécessaire pour que le récepteur puisse déterminer sans ambiguïté ce que la source a transmis. Plus le récepteur reçoit d'information sur le message transmis, plus l'entropie (incertitude) vis-à-vis de ce message décroît. En particulier, plus la source est redondante, moins elle contient d'information. En l'absence de contraintes particulières, l'entropie est maximale pour une source dont tous les symboles sont équiprobables. (fr)
  • Nella teoria dell'informazione l'entropia di una sorgente di messaggi è l'informazione media contenuta in ogni messaggio emesso. L'informazione contenuta in un messaggio è tanto più grande quanto meno probabile era. Un messaggio scontato, che ha un'alta probabilità di essere emesso dalla sorgente contiene poca informazione, mentre un messaggio inaspettato, poco probabile contiene una grande quantità di informazione. L'entropia di una sorgente risponde a domande come: qual è il numero minimo di bit che servono per memorizzare in media un messaggio della sorgente? Quanto sono prevedibili i messaggi emessi dalla sorgente? Si è dimostrato che una sequenza di messaggi emessi da una sorgente può essere compressa senza perdita d'informazione fino ad un numero minimo di bit per messaggio uguale all'entropia della sorgente. Una sequenza di lettere come aaaaaaaa possiede meno entropia di una parola come alfabeto la quale a sua volta possiede ancora meno entropia di una stringa completamente casuale come j3s0vek3. L'entropia può essere vista come la casualità contenuta in una stringa, ed è strettamente collegata al numero minimo di bit necessari per rappresentarla senza errori. (it)
  • 情報量(じょうほうりょう)やエントロピー(英: entropy)は、情報理論の概念で、あるできごと(事象)が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと(たとえば「風の音」)が起こったことを知ってもそれはたいした「情報」にはならないが、逆に珍しいできごと(たとえば「曲の演奏」)が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。 なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ(確率)だけによって決まる数学的な量でしかなく、個人・社会における有用性とは無関係である。たとえば「自分が宝くじに当たった」と「見知らぬAさんが宝くじに当たった」は、前者の方が有用な情報に見えるが、両者の情報量は全く同じである(宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるため)。 (ja)
  • 정보 이론에서 시스템은 송신자, 채널, 수신자를 이용하여 모형화 한다. 송신자는 채널을 통해 전달되는 메시지를 만들어낸다. 채널은 특정한 방식을 통해 메시지를 변경한다. 수신자는 어떤 메시지가 보내진 것인지 추론하고자 한다. 이 맥락에서 정보 엔트로피(또는 섀넌 엔트로피)는 각 메시지에 포함된 정보의 기댓값(평균)이다. '메시지'는 어떤 흐름의 정보에 대해서도 모형화 할 수 있다. 기술적인 관점에서 보면 정보는 발생 가능한 사건이나 메시지의 확률분포의 음의 로그로 정의할 수 있다. 각 사건의 정보량은 그 기댓값, 또는 평균이 섀넌 엔트로피인 확률변수를 형성한다. 엔트로피의 단위는 정의에 사용된 로그의 밑이 무엇인지에 따라 섀넌(shannon), 내트(nat) 또는 하틀리(hartley)를 사용한다. 단, 섀넌의 경우 보통 비트(bit)로 표현한다. 확률분포의 로그는 엔트로피의 단위로 사용하기에 매우 유용한데 이는 독립적인 소스(source)들에 대해 그 값을 더할 수 있기 때문이다. 예를 들어 동전을 1개 던지면 엔트로피는 1 섀넌이고, m 개의 동전을 던질 때는 m 섀넌이다. n 이 2의 거듭제곱일 때, 일반적으로 n 개의 값 중 하나를 취하는 변수를 표현하기 위해서는 log2(n) 비트가 필요하다. 모든 값의 발생 확률이 동일하면, (섀넌으로 표현된) 엔트로피는 비트의 개수와 동일하게 된다. 비트의 개수와 섀넌이 동일한 경우는 모든 결과의 발생 확률이 동일한 경우로 한정된다. 만약 하나의 사건이 다른 사건보다 발생할 확률이 높다면 그 사건에 대한 관측이 제공할 수 있는 정보는 적다. 반대로 희귀한 사건을 관측하면 더 많은 정보를 얻을 수 있다. 확률이 낮은 사건에 대한 관측은 덜 발생할 것이므로 순 효과는 불균등하게 분포한 자료로부터 얻어진 log2(n) 보다 작은 엔트로피가 된다. 하나의 사건이 확실하게 일어나는 경우라면 엔트로피는 0 이 된다. 섀넌 엔트로피는 소스(source)의 확률분포가 알려져 있을 때 이 모든 고려사항을 수치화한다. 관측된 사건들의 의미(메시지의 의미)는 엔트로피를 정의할 때 중요하지 않다. 엔트로피는 특정한 사건이 일어날 확률만을 고려함으로써 사건의 배후에 존재하는 확률분포에 대한 정보를 캡슐화할뿐 사건 자체의 의미는 포함하지 않는다. 일반적으로 엔트로피는 무질서도 또는 불확실성을 가리킨다. 섀넌 엔트로피의 개념은 클로드 섀넌이 자신의 1948년 논문 "수학적 통신 이론"에서 도입하였다. 섀넌 엔트로피는 정보 소스(source)를 무손실 인코딩 또는 압축할 때 가능한 최상의 평균 길이의 절대적 한계치를 제공해준다. 레니 엔트로피는 섀넌 엔트로피를 일반화한 것이다. (ko)
  • Entropie is de maat voor informatiedichtheid in een reeks gebeurtenissen. Informatie ontstaat als een gebeurtenis plaatsvindt waarvan vooraf onzeker was of deze daadwerkelijk zou gebeuren. In de informatietheorie wordt dit inzicht verder wiskundig uitgewerkt. De gemiddelde (eigenlijk: verwachte) hoeveelheid informatie bij een nog plaats te vinden gebeurtenis of een nog uit te voeren (kans)experiment, is gedefinieerd als de verwachtingswaarde, zoals gedefinieerd in de kansrekening, van de hoeveelheid zelfinformatie die deze gebeurtenis zal opleveren. (nl)
  • Entropia – średnia ilość informacji, przypadająca na pojedynczą wiadomość ze źródła informacji. Innymi słowy jest to średnia ważona ilości informacji niesionej przez pojedynczą wiadomość, gdzie wagami są prawdopodobieństwa nadania poszczególnych wiadomości. Wzór na entropię zmiennej losowej o zbiorze wartości : gdzie to prawdopodobieństwo zajścia zdarzenia a to podstawa logarytmu. W teorii informacji najczęściej stosuje się logarytm o podstawie 2, wówczas jednostką entropii jest bit. Dla jednostka ta nazywa się nat (nit), natomiast dla – dit lub hartley. W przypadku gdy dla pewnego wartość składnika jest przyjmowana jako 0, co jest zgodne z granicą: W latach 60. XX wieku węgierski matematyk Alfred Rényi uogólnił pojęcie entropii do zbioru funkcji za pomocą których można opisać ilościowo różnorodność, niepewność czy losowość systemu. Miara ta od jego nazwiska nazywana jest . Entropię można interpretować jako niepewność wystąpienia danego zdarzenia elementarnego w następnej chwili. Jeżeli jakieś zdarzenie w zbiorze zdarzeń występuje z prawdopodobieństwem równym 1, to entropia układu wynosi wówczas 0, gdyż z góry wiadomo, co się stanie – nie ma niepewności. Własności entropii: * jest nieujemna; * jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same; * jest równa 0, gdy stany systemu przyjmują wartości tylko 0 albo tylko 1; * własność superpozycji – gdy dwa systemy są niezależne, to entropia sumy systemów równa się sumie entropii; * jeśli ze źródła danych pobierane są k-literowe ciągi, wówczas entropia wynosi Definicja informacyjna była pierwotnie próbą ujęcia tradycyjnego pojęcia entropii znanego z termodynamiki w kategoriach teorii informacji. Okazało się jednak, że definicja ta jest przydatna w ramach samej teorii informacji. Pojęcie entropii jest bardzo przydatne np. w dziedzinie kompresji danych. Entropię zerowego rzędu można obliczyć znając histogram ciągu symboli. Jest to iloczyn entropii i liczby znaków w ciągu. Osiągi kodowania Huffmana są często zbliżone do tej granicy, jednak lepszą efektywnością charakteryzuje się kodowanie arytmetyczne. Przyjęcie modelu, w którym uwzględnia się kontekst znaku, pozwala zwykle na bardzo duże obniżenie entropii. (pl)
  • Entropia, quando relacionada à termodinâmica, é a medida do grau de irreversibilidade de um determinado sistema. Então, quanto menor a chance do sistema voltar ao seu estado original, maior será o grau de entropia. É considerada por Einstein como a primeira lei de todas a ciências. Para a área de Teoria da Informação, a entropia é definida como sendo uma forma de medir o grau médio de incerteza a respeito de fontes de informação, o que consequentemente permite a quantificação da informação presente que flui no sistema. Em termos simples, o conceito de entropia se associa à idéia de que, quanto mais incerto é o resultado de um experimento aleatório, maior é a informação que se obtém ao observar a sua ocorrência. (pt)
  • Entropi är ett begrepp inom informationsteorin, definierat av Claude Shannon 1948, för en informationskälla som genererar symboler. Baserat på sannolikheten för varje symbol definieras entropin över hela sannolikhetsfördelningen som: Begreppet definierades utifrån behovet att beräkna kapaciteten hos kommunikationskanaler, och grundar sig på stokastiska sannolikheter. Definitionen är skapad som en analogi till den mikroskopiska definitionen av den termodynamiska storheten entropi. (sv)
  • Информацио́нная энтропи́я — мера неопределённости некоторой системы (в статистической физике или теории информации), в частности непредсказуемость появления какого-либо символа первичного алфавита. В последнем случае при отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения. Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии -го порядка, см. ) встречаются очень редко, то неопределённость уменьшается еще сильнее. (ru)
  • 在信息论中,熵(英語:entropy)是接收的每条消息中包含的信息的平均量,又被稱為信息熵、信源熵、平均自信息量。这里,“消息”代表来自分布或数据流中的事件、样本或特征。(熵最好理解为不确定性的量度而不是确定性的量度,因为越随机的信源的熵越大。)来自信源的另一个特征是样本的概率分布。这里的想法是,比较不可能发生的事情,当它发生了,会提供更多的信息。由于一些其他的原因,把信息(熵)定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量,这个随机变量的均值(即期望)就是这个分布产生的信息量的平均值(即熵)。熵的单位通常为比特,但也用Sh、nat、Hart计量,取决于定义用到对数的底。 采用概率分布的对数作为信息的量度的原因是其可加性。例如,投掷一次硬币提供了1 Sh的信息,而掷m次就为m位。更一般地,你需要用log2(n)位来表示一个可以取n个值的变量。 在1948年,克劳德·艾尔伍德·香农將熱力學的熵,引入到信息论,因此它又被稱為香农熵。 (zh)
  •  Інформаці́йна ентропі́я (англ. information entropy) — це усереднена швидкість, із якою продукує інформацію стохастичне джерело даних. Мірою інформаційної ентропії, пов'язаною з кожним можливим значенням даних, є від'ємний логарифм функції маси ймовірності для цього значення: . Таким чином, коли джерело даних має менш імовірне значення (наприклад, коли стається низькоймовірна подія), то ця подія несе більше «інформації» («неочікуваності»), ніж коли джерело даних має більш імовірне значення. Визначена таким чином кількість інформації, що передається кожною подією, стає випадковою змінною, чиє математичне сподівання є інформаційною ентропією. Взагалі, ентропію позначають безлад або невизначеність, і визначення ентропії, що застосовують в теорії інформації, є прямим аналогом у статистичній термодинаміці. Поняття інформаційної ентропії було введено Клодом Шенноном у його праці 1948 року «Математична теорія зв'язку». Базова модель системи передавання даних складається з трьох елементів: джерела даних, каналу зв'язку та приймача, і, за виразом Шеннона, «фундаментальною задачею зв'язку» є те, щоби отримувач був здатен встановлювати, які дані було породжено джерелом, на основі сигналу, що він отримує каналом.:379–423 та 623–656 Ентропія забезпечує абсолютну межу найкоротшої можливої усередненої довжини безвтратного стиснювального кодування даних, продукованих джерелом, і якщо ентропія джерела є меншою за пропускну спроможність каналу зв'язку, то дані, породжувані цим джерелом, можливо надійно передавати приймачеві (принаймні теоретично, можливо, нехтуючи деякими практичними міркуваннями, такими як складність системи, потрібної для передавання даних, або кількості часу, що це передавання цих даних може забирати). Інформаційну ентропію зазвичай вимірюють в бітах (що також називають «шеннонами», англ. bit, shannon), або іноді в «натуральних одиницях» (натах, англ. nat), або в десяткових цифрах (що називають «дитами», «банами» або «гартлі»). Одиниця вимірювання залежить від основи логарифму, що використовують для визначення ентропії. Логарифм розподілу ймовірності є корисним як міра ентропії тому, що для незалежних джерел він є адитивним. Наприклад, ентропія підкидання справедливої монети складає 1 біт, а ентропією m підкидань є m біт. У простому поданні, для представлення величини, що може набувати одного з n значень, потрібно log2(n) бітів, якщо n є степенем числа 2. Якщо ці значення є однаково ймовірними, то ентропія (в бітах) дорівнює цьому числу. Якщо ж трапляння одного з цих значень є ймовірнішим за інші, то спостереження трапляння цього значення є менш інформативним, ніж якби трапився не такий звичайний результат. І навпаки, рідкісніші події при їхньому спостереженні надають більше інформації. Оскільки спостереження менш імовірних подій трапляється рідше, в підсумку виходить, що ентропія (при розгляданні її як усередненої інформації), отримувана від нерівномірно розподілених даних, є завжди меншою або рівною до log2(n). Якщо вихід є незмінним, то ентропія дорівнює нулеві. Коли розподіл імовірності джерела даних є відомим, ентропія виражає ці міркування кількісно. Зміст спостережуваних подій (зміст повідомлень) у визначенні ентропії значення не має. Ентропія враховує лише ймовірність спостереження певної події, тому інформація, яку вона включає, є інформацією про розподіл ймовірності, що лежить в основі, а не про зміст самих подій. (uk)
dbo:thumbnail
dbo:wikiPageExternalLink
dbo:wikiPageID
  • 15445 (xsd:integer)
dbo:wikiPageLength
  • 55191 (xsd:integer)
dbo:wikiPageRevisionID
  • 984377040 (xsd:integer)
dbo:wikiPageWikiLink
dbp:backgroundColour
  • #F5FFFA (en)
dbp:borderColour
  • #0073CF (en)
dbp:cellpadding
  • 6 (xsd:integer)
dbp:id
  • 968 (xsd:integer)
  • p/e035740 (en)
dbp:title
  • Entropy (en)
  • Shannon's entropy (en)
dbp:wikiPageUsesTemplate
dct:subject
rdf:type
rdfs:comment
  • انتروبي مصطلح يستخدم في علم نظرية المعلومات وهو مقياس الشك المرتبط بمتغير عشوائي. وفي هذا السياق، فإن مصطلح يشير عادة إلى الانتروبي شانون، الذي يتم تحديد كمية القيمة المتوقعة للمعلومات الواردة في رسالة. (ar)
  • Entropie (nach dem Kunstwort ἐντροπία) ist in der Informationstheorie ein Maß für den mittleren Informationsgehalt einer Nachricht. Der Begriff ist eng verwandt mit der Entropie in der Thermodynamik und statistischen Mechanik. Das informationstheoretische Verständnis des Begriffes Entropie geht auf Claude E. Shannon zurück und existiert seit etwa 1948. In diesem Jahr veröffentlichte Shannon seine fundamentale Arbeit A Mathematical Theory of Communication und prägte damit die moderne Informationstheorie. Die Entropie wird üblicherweise mit einem großen Eta () bezeichnet. (de)
  • alorrean entropiak, informazio-entropia eta Shannonen entropia (Claude E. Shannon-en omenez) izenez ere ezagutua, informazio iturri baten ziurgabetasuna neurtzen du. Entropia kontzeptua termodinamikan, eta erabiltzen da. Kasu guztietan entropia «desordenaren neurri» edo «konbinazio jakin batzuen berezitasun» moduan ulertzen da. Ziurgabetasunaren neurri bat dela edo edozein prozesutan ziurgabetasun hori mugatzeko, murrizteko edo ezabatzeko behar den informazioa dela uler daiteke. Kontua da, informazioaren eta entropiaren kontzeptuek oso harreman estua dutela, nahiz eta hortaz konturatzeko mekanika estatistikoaren eta informazio-teoriaren arloetan lan handia egin behar izan zen. (eu)
  • 情報量(じょうほうりょう)やエントロピー(英: entropy)は、情報理論の概念で、あるできごと(事象)が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと(たとえば「風の音」)が起こったことを知ってもそれはたいした「情報」にはならないが、逆に珍しいできごと(たとえば「曲の演奏」)が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。 なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ(確率)だけによって決まる数学的な量でしかなく、個人・社会における有用性とは無関係である。たとえば「自分が宝くじに当たった」と「見知らぬAさんが宝くじに当たった」は、前者の方が有用な情報に見えるが、両者の情報量は全く同じである(宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるため)。 (ja)
  • Entropie is de maat voor informatiedichtheid in een reeks gebeurtenissen. Informatie ontstaat als een gebeurtenis plaatsvindt waarvan vooraf onzeker was of deze daadwerkelijk zou gebeuren. In de informatietheorie wordt dit inzicht verder wiskundig uitgewerkt. De gemiddelde (eigenlijk: verwachte) hoeveelheid informatie bij een nog plaats te vinden gebeurtenis of een nog uit te voeren (kans)experiment, is gedefinieerd als de verwachtingswaarde, zoals gedefinieerd in de kansrekening, van de hoeveelheid zelfinformatie die deze gebeurtenis zal opleveren. (nl)
  • Entropi är ett begrepp inom informationsteorin, definierat av Claude Shannon 1948, för en informationskälla som genererar symboler. Baserat på sannolikheten för varje symbol definieras entropin över hela sannolikhetsfördelningen som: Begreppet definierades utifrån behovet att beräkna kapaciteten hos kommunikationskanaler, och grundar sig på stokastiska sannolikheter. Definitionen är skapad som en analogi till den mikroskopiska definitionen av den termodynamiska storheten entropi. (sv)
  • 在信息论中,熵(英語:entropy)是接收的每条消息中包含的信息的平均量,又被稱為信息熵、信源熵、平均自信息量。这里,“消息”代表来自分布或数据流中的事件、样本或特征。(熵最好理解为不确定性的量度而不是确定性的量度,因为越随机的信源的熵越大。)来自信源的另一个特征是样本的概率分布。这里的想法是,比较不可能发生的事情,当它发生了,会提供更多的信息。由于一些其他的原因,把信息(熵)定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量,这个随机变量的均值(即期望)就是这个分布产生的信息量的平均值(即熵)。熵的单位通常为比特,但也用Sh、nat、Hart计量,取决于定义用到对数的底。 采用概率分布的对数作为信息的量度的原因是其可加性。例如,投掷一次硬币提供了1 Sh的信息,而掷m次就为m位。更一般地,你需要用log2(n)位来表示一个可以取n个值的变量。 在1948年,克劳德·艾尔伍德·香农將熱力學的熵,引入到信息论,因此它又被稱為香农熵。 (zh)
  • L'entropia de Shannon, (formulada per Claude Shannon) és una funció matemàtica que intuïtivament es correspon amb la quantitat d'informació continguda o lliurada per una font d'informació. Aquesta font pot ser un text escrit en un idioma determinat, un senyal elèctric, un fitxer d'ordinador o qualsevol (col·lecció de bytes). Des del punt de vista d'un receptor, com més informació diferent emet la font, més gran és l'entropia (o incertesa sobre el que emet la font), i viceversa. Com més informació rep el receptor sobre el missatge transmès, més disminueix l'entropia (incertesa) respecte aquest missatge, per raó d'aquest augment d'informació. La definició d'entropia de Shannon és tal que com més redundant sigui la font, menys informació conté. En absència de restriccions particulars, l'entro (ca)
  • Η εντροπία στη θεωρία πληροφορίας είναι ένα «μέτρο αβεβαιότητας» που διακατέχει ένα σύστημα. Ο όρος εντροπία χρησιμοποιήθηκε αρχικά στη θερμοδυναμική (βλ. εντροπία).Στη θεωρία πληροφορίας εισήχθη από τον Κλωντ Σάνον το 1948 και γι' αυτό ονομάζεται και εντροπία του Σάννον. Η χρήση του ίδιου όρου με τη θερμοδυναμική εντροπία, παρότι μπορεί να προκαλέσει σύγχυση, υιοθετήθηκε από τον Σάνον μετά και από παρότρυνση ενός άλλου σπουδαίου μαθηματικού, του Τζον φον Νόιμαν, ο οποίος φέρεται ότι είχε πει στον Σάνον: (el)
  • In information theory, the entropy of a random variable is the average level of "information", "surprise", or "uncertainty" inherent in the variable's possible outcomes. The concept of information entropy was introduced by Claude Shannon in his 1948 paper "A Mathematical Theory of Communication". As an example, consider a biased coin with probability p of landing on heads and probability 1-p of landing on tails. The maximum surprise is for p = 1/2, when there is no reason to expect one outcome over another, and in this case a coin flip has an entropy of one bit. The minimum surprise is when p = 0 or p = 1, when the event is known and the entropy is zero bits. Other values of p give different entropies between zero and one bits. (en)
  • En el ámbito de la teoría de la información la entropía, también llamada entropía de la información y entropía de Shannon (en honor a Claude E. Shannon), mide la incertidumbre de una fuente de información. (es)
  • L'entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (collection d'octets). (fr)
  • 정보 이론에서 시스템은 송신자, 채널, 수신자를 이용하여 모형화 한다. 송신자는 채널을 통해 전달되는 메시지를 만들어낸다. 채널은 특정한 방식을 통해 메시지를 변경한다. 수신자는 어떤 메시지가 보내진 것인지 추론하고자 한다. 이 맥락에서 정보 엔트로피(또는 섀넌 엔트로피)는 각 메시지에 포함된 정보의 기댓값(평균)이다. '메시지'는 어떤 흐름의 정보에 대해서도 모형화 할 수 있다. 기술적인 관점에서 보면 정보는 발생 가능한 사건이나 메시지의 확률분포의 음의 로그로 정의할 수 있다. 각 사건의 정보량은 그 기댓값, 또는 평균이 섀넌 엔트로피인 확률변수를 형성한다. 엔트로피의 단위는 정의에 사용된 로그의 밑이 무엇인지에 따라 섀넌(shannon), 내트(nat) 또는 하틀리(hartley)를 사용한다. 단, 섀넌의 경우 보통 비트(bit)로 표현한다. (ko)
  • Nella teoria dell'informazione l'entropia di una sorgente di messaggi è l'informazione media contenuta in ogni messaggio emesso. L'informazione contenuta in un messaggio è tanto più grande quanto meno probabile era. Un messaggio scontato, che ha un'alta probabilità di essere emesso dalla sorgente contiene poca informazione, mentre un messaggio inaspettato, poco probabile contiene una grande quantità di informazione. L'entropia di una sorgente risponde a domande come: qual è il numero minimo di bit che servono per memorizzare in media un messaggio della sorgente? Quanto sono prevedibili i messaggi emessi dalla sorgente? (it)
  • Entropia – średnia ilość informacji, przypadająca na pojedynczą wiadomość ze źródła informacji. Innymi słowy jest to średnia ważona ilości informacji niesionej przez pojedynczą wiadomość, gdzie wagami są prawdopodobieństwa nadania poszczególnych wiadomości. Wzór na entropię zmiennej losowej o zbiorze wartości : W latach 60. XX wieku węgierski matematyk Alfred Rényi uogólnił pojęcie entropii do zbioru funkcji za pomocą których można opisać ilościowo różnorodność, niepewność czy losowość systemu. Miara ta od jego nazwiska nazywana jest . Własności entropii: (pl)
  • Информацио́нная энтропи́я — мера неопределённости некоторой системы (в статистической физике или теории информации), в частности непредсказуемость появления какого-либо символа первичного алфавита. В последнем случае при отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения. (ru)
  • Entropia, quando relacionada à termodinâmica, é a medida do grau de irreversibilidade de um determinado sistema. Então, quanto menor a chance do sistema voltar ao seu estado original, maior será o grau de entropia. É considerada por Einstein como a primeira lei de todas a ciências. (pt)
  •  Інформаці́йна ентропі́я (англ. information entropy) — це усереднена швидкість, із якою продукує інформацію стохастичне джерело даних. Мірою інформаційної ентропії, пов'язаною з кожним можливим значенням даних, є від'ємний логарифм функції маси ймовірності для цього значення: . Таким чином, коли джерело даних має менш імовірне значення (наприклад, коли стається низькоймовірна подія), то ця подія несе більше «інформації» («неочікуваності»), ніж коли джерело даних має більш імовірне значення. Визначена таким чином кількість інформації, що передається кожною подією, стає випадковою змінною, чиє математичне сподівання є інформаційною ентропією. Взагалі, ентропію позначають безлад або невизначеність, і визначення ентропії, що застосовують в теорії інформації, є прямим аналогом у статистичній (uk)
rdfs:label
  • اعتلاج (معلومات) (ar)
  • Entropia de Shannon (ca)
  • Entropie (Informationstheorie) (de)
  • Εντροπία πληροφοριών (el)
  • Entropy (information theory) (en)
  • Entropía (información) (es)
  • Entropia (informazio-teoria) (eu)
  • Entropie de Shannon (fr)
  • Entropia (teoria dell'informazione) (it)
  • 情報量 (ja)
  • 정보 엔트로피 (ko)
  • Entropie (informatietheorie) (nl)
  • Entropia (teoria informacji) (pl)
  • Entropia da informação (pt)
  • Информационная энтропия (ru)
  • Entropi (informationsteori) (sv)
  • Інформаційна ентропія (uk)
  • 熵 (信息论) (zh)
owl:sameAs
prov:wasDerivedFrom
foaf:depiction
foaf:isPrimaryTopicOf
is dbo:knownFor of
is dbo:wikiPageDisambiguates of
is dbo:wikiPageRedirects of
is dbo:wikiPageWikiLink of
is foaf:primaryTopic of