| dbpprop:abstract
|
- In information theory, entropy is a measure of the uncertainty associated with a random variable. The term by itself in this context usually refers to the Shannon entropy, which quantifies, in the sense of an expected value, the information contained in a message, usually in units such as bits. Equivalently, the Shannon entropy is a measure of the average information content one is missing when one does not know the value of the random variable. The concept was introduced by Claude E. Shannon in his 1948 paper "A Mathematical Theory of Communication". Shannon's entropy represents an absolute limit on the best possible lossless compression of any communication, under certain constraints treating messages to be encoded as a sequence of independent and identically-distributed random variables, Shannon's source coding theorem shows that, in the limit, the average length of the shortest possible representation to encode the messages in a given alphabet is their entropy divided by the logarithm of the number of symbols in the target alphabet. A fair coin has an entropy of one bit. However, if the coin is not fair, then the uncertainty is lower (if asked to bet on the next outcome, we would bet preferentially on the most frequent result), and thus the Shannon entropy is lower. Mathematically, a coin flip is an example of a Bernoulli trial, and its entropy is given by the binary entropy function. A long string of repeating characters has an entropy rate of 0, since every character is predictable. The entropy rate of English text is between 1.0 and 1.5 bits per letter,ref>Schneier, B Applied Cryptography, Second edition, page 234. John Wiley and Sons. /ref> or as low as 0.6 to 1.3 bits per letter, according to estimates by Shannon based on human experiments. ref>Shannon, Claude E. Prediction and entropy of printed English, The Bell System Technical Journal, 3050-64, January 1951. /ref>
- Entropie ist ein Maß für den mittleren Informationsgehalt oder auch Informationsdichte eines Zeichensystems. Der Begriff in der Informationstheorie ist in Analogie zur Entropie in der Thermodynamik und Statistischen Mechanik benannt. Beide Begriffe haben Gemeinsamkeiten, deren Erkennen allerdings Kenntnisse in beiden Fachgebieten voraussetzt. Das informationstheoretische Verständnis des Begriffes Entropie geht auf Claude E. Shannon zurück und existiert seit etwa 1948. In diesem Jahr veröffentlichte Shannon seine fundamentale Arbeit A Mathematical Theory of Communication und prägte damit die moderne Informationstheorie. Die Bezeichnung <math>H</math> für die Entropie rührt aus einer Verwechslung mit dem ursprünglich gewählten großen Eta (<math>\Eta</math>) für das Kunstwort εντροπία.
- Entropía es un concepto en termodinámica, mecánica estadística y teoría de la información. Los conceptos de información y entropía están ampliamente relacionados entre sí, aunque se tardó años en el desarrollo de la mecánica estadística y la teoría de la información para hacer esto aparente. Este artículo versa sobre la entropía, en la formulación que hace de ella la Teoría de la información. Esta entropía se llama frecuentemente entropía de Shannon, en honor a Claude E. Shannon.
- L'entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (collection d'octets). Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande, et vice versa. Plus le récepteur reçoit d'information sur le message transmis, plus l'entropie (incertitude) vis-à-vis de ce message décroît, en lueur de ce gain d'information. La définition de l'entropie d'une source selon Shannon est telle que plus la source est redondante, moins elle contient d'information. En l'absence de contraintes particulières, l'entropie est maximale pour une source dont tous les symboles sont équiprobables. Dans le cas particulier d'un système de télécommunication, l'entropie de la source d'information (le transmetteur) indique l'incertitude du récepteur par rapport à ce que la source va transmettre. Par exemple, une source réputée envoyer toujours le même symbole, disons la lettre 'a', a une entropie nulle, c'est-à-dire minimale. En effet, un récepteur qui connait seulement les statistiques de transmission de la source est assuré que le prochain symbole sera un 'a', sans jamais se tromper. Le récepteur n'a pas besoin de recevoir de signal pour lever l'incertitude sur ce qui a été transmis par la source car celle-ci n'engendre pas d'aléa. Par contre, si la source est réputée envoyer un 'a' la moitié du temps et un 'b' l'autre moitié, le récepteur est incertain de la prochaine lettre à recevoir. L'entropie de la source dans ce cas est donc non nulle (positive) et représente quantitativement l'incertitude qui règne sur l'information émanant de la source. Du point de vue du récepteur, l'entropie indique la quantité d'information qu'il lui faut obtenir pour lever complètement l'incertitude (ou le doute) sur ce que la source a transmis.
- A Shannon-féle entrópiafüggvényt Claude Shannon amerikai matematikus és híradástechnikai szakember vezette be a negyvenes évek legvégén az információ nevű fogalom fizikai mennyiséggé és mérhetővé tételére (bár már Shannon előtt is próbálkoztak ezzel, ld. lentebb). Ma e fogalom és tanulmányozása az információelmélet egyik alapja. E függvény definiáláshoz feltételezzük, hogy egy kommunikációs folyamatban veszünk részt, melynek csatornáján az X halmaz jeleiből összetevődő véges sorozatok, üzenetek áramlanak. Ha sok üzenet áll rendelkezésre, mérni (vagy pedig becsülni) tudjuk azt a p(x) valószínűséget, hogy adott x∈X elem milyen gyakran fordul elő (várhatóan) egy üzenetben, továbbá, hogy valahogy mérhető vagy meghatározható az x jel információtartalma is, amit I(x) jelöljön. Legyen egy üzenet az x = (x1,x2,…,xj)∈X jelek sorozata. Ekkor az üzenet információtartalma Shannon definíciója szerint H(x) = H(x1,x2,…,xj) = = p(x1)I(x1)+p(x2)I(x2)+…+p(xj)I(xj) == p(x1)log2p(x1) + p(x2)log2p(x2) + … + p(xj)log2p(xj) . Tehát az x üzenet információtartalma jelei I(x) := p(x)log2[p(x)] „egyedi információtartalmának” várható értéke.
- Nella teoria dell'informazione - e in rapporto alla teoria dei segnali - l'entropia misura la quantità di incertezza o informazione presente in un segnale aleatorio. Da un altro punto di vista l'entropia è la minima complessità descrittiva di una variabile aleatoria, ovvero il limite inferiore della compressione dei dati. La connessione con l'entropia termodinamica sta nel rapporto di compressione: al diminuire della temperatura corrisponde la riduzione della ridondanza del segnale, e quindi l'aumento della compressione. L'entropia dell'informazione raggiunge un minimo che, in generale è diverso da zero, al contrario dell'entropia termodinamica.
- 情報量（じょうほうりょう、エントロピーとも）は、情報理論の概念で、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度である。頻繁に起こるできごと（たとえば「犬が人を噛む」）が起こったことを知ってもそれはたいした「情報」にはならないが、逆に滅多に起こらないできごと（たとえば「人が犬を噛む」）が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとがどれだけの情報をもっているかの尺度であるともみなすことができる。 なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ（確率）だけによって決まる純粋に数学的な量のことであり、それが個人・社会にとってどれだけ意義のあるものかとは無関係である。たとえば「自分が宝くじに当たった」事象と「見知らぬAさんが宝くじに当たった」事象は、前者の方が有意義な情報に見えるが、両者の情報量は全く同じである（宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるから）。
- Entropie is de maat voor informatiedichtheid in een reeks gebeurtenissen. Informatie ontstaat als een gebeurtenis plaatsvindt waarvan vooraf onzeker was of deze daadwerkelijk zou gebeuren. In de informatietheorie wordt dit inzicht verder wiskundig uitgewerkt. De gemiddelde hoeveelheid informatie bij een nog plaats te vinden gebeurtenis of een nog uit te voeren experiment, is gedefinieerd als de mathematische verwachting van de hoeveelheid zelfinformatie die deze gebeurtenis op zal leveren. Het gaat hierbij om de 'verwachting' zoals gedefinieerd in de kansrekening. Stel dat er bij een experiment <math>A</math> een aantal mogelijke uitkomsten <math>U_i</math> bestaat (i = 1, 2, ... , n). Iedere uitkomst <math>U_i</math> zal dan optreden met een zekere kans <math>p_i</math>. Dit betekent dat bij uitkomst <math>U_i</math> een hoeveelheid zelfinformatie <math>H(U_i) = - ^2log(p_i)</math> behoort. De hoeveelheid informatie die beschikbaar komt bij eenmalige uitvoering van experiment <math>A</math> noemen we <math>I</math>; <math>I \in \{ H(U_1), H(U_2), ... , H(U_n) \}</math> De gemiddelde hoeveelheid informatie bij dit experiment is <math> H(A) = E\{I\} = \sum_{i=1}^{n} p_i H(U_i) = \sum_{i=1}^{n} p_i (- ^2log) = - \sum_{i=1}^{n} p_i\cdot ^2log(p_i)</math> bit.
- Entropia w ramach teorii informacji jest definiowana jako średnia ilość informacji, przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru. Zdarzenia w tym zbiorze mają przypisane prawdopodobieństwa wystąpienia. Wzór na entropię: <math>H(x)=\sum_{i=1}^np(i)\log_r \frac{1}{p(i)}= - \sum_{i=1}^np(i)\log_r {p(i)}\,\!</math> gdzie p(i) - prawdopodobieństwo zajścia zdarzenia i. W przypadku kodowania ciągu znaków jest to prawdopodobieństwo wystąpienia i-tego znaku. W teorii informacji najczęściej stosuje się logarytm o podstawie r =2, wówczas jednostką entropii jest bit. Dla r= e jednostka ta nazywa się nat(nit), natomiast dla r=10 - dit lub hartley. Entropię można interpretować jako niepewność wystąpienia danego zdarzenia elementarnego w następnej chwili. Jeżeli następujące zdarzenie występuje z prawdopodobieństwem równym 1, to z prostego podstawienia wynika, że entropia wynosi 0, gdyż z góry wiadomo co się stanie - nie ma niepewności. Własności entropii: jest nieujemna jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same jest równa 0, gdy stany systemu przyjmują wartości 0 albo 1 własność superpozycji - gdy dwa systemy są niezależne to entropia sumy systemów równa się sumie entropii. jeśli ze źródła danych pobierane są k-literowe ciągi, wówczas entropia wynosi <math>H(x^{}) = kH(x)</math> Definicja informacyjna była pierwotnie próbą ujęcia tradycyjnego pojęcia entropii znanego z termodynamiki w kategoriach teorii informacji. Okazała się jednak, że definicja ta jest przydatna w ramach samej teorii informacji. Pojęcie entropii jest bardzo przydatne w np: dziedzinie kompresji danych. Entropię zerowego rzędu można obliczyć znając histogram ciągu symboli. Jest to iloczyn entropii i ilości znaków w ciągu. Osiągi kodowania Huffmana są często zbliżone do tej granicy, jednak lepszą efektywnością charakteryzuje się kodowanie arytmetyczne. Przyjęcie modelu, w którym uwzględnia się kontekst znaku, pozwala zwykle na bardzo duże obniżenie entropii.
- Entropia equivale à perda de energia ou até mesmo desordem. Sendo considerada por Einstein como a primeira lei de todas a ciências. Na área de comunicação, tem-se a entropia da informação que é definida como sendo uma forma de medir a quantidade de informação. Ou seja, uma mensagem tem certa quantidade de informação quanto maior for o seu grau de incerteza ou imprevisibilidade.
- În teoria informaţiei, entropia Shannon sau entropia informaţională măsoară incertitudinea asociată cu o variabilă aleatoare. Această măsură indică şi cantitatea de informaţie conţinută într-un mesaj, exprimată de obicei în biţi sau în biţi pe simbol. Când este exprimată în biţi, ea reprezintă lungimea minimă pe care trebuie să o aibă un mesaj pentru a comunica informaţia. Ea mai reprezintă şi o limită absolută a celei mai bune compresii fără pierderi aplicabilă unor date comunicate tratând un mesaj ca pe o serie de simboluri, cea mai scurtă reprezentare posibilă a mesajului are lungimea egală cu entropia Shannon în biţi pe simbol înmulţită cu numărul de simboluri din mesajul original. O aruncare a monezii are entropia de un bit. Dar, dacă moneda nu este echilibrată, atunci incertitudinea este mai mică (se ştie că există o probabilitate mai mare ca ea să cadă cu o anume parte a ei în sus), şi astfel entropia Shannon este mai mică. Un şir lung de caractere repetate au entropia 0, deoarece fiecare caracter este previzibil. Entropia unui text în limba engleză este de 1,0 până la 1,5 biţi pe literă,ref>Schneier, Bruce. Applied Cryptography, John Wiley and Sons. Ediţia a doua. /ref> . Echivalent, entropia Shannon măsoară media de conţinut informaţional pe care receptorul o pierde atunci când nu cunoaşte valoarea variabilei aleatoare. Conceptul a fost introdus de Claude Shannon în lucrarea sa din 1948 „O teorie matematică a comunicaţiei”.
- Информацио́нная энтропи́я — мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения. Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии <math>n</math>-ого порядка, см. ниже) встречаются очень редко, то неопределённость ещё более уменьшается. Для иллюстрации понятия информационной энтропии можно также прибегнуть к примеру из области термодинамической энтропии, получившему название демона Максвелла. Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.
- Entropi definierades som ett begrepp inom informationsteorin av Claude Shannon 1948 för en informationskälla som genererar symboler. Baserat på sannolikheten för varje symbol definieras entropin över hela sannolikhetsfördelningen som: <math>H = - \sum_i p_i \log p_i \,</math> Begreppet definierades utifrån behovet att beräkna kapaciteten hos kommunikationskanaler, och grundar sig på stokastiska sannolikheter. Definitionen är skapad som en analogi till den mikroskopiska definitionen av den termodynamiska storheten entropi.
- Інформаційна ентропія — в теорії інформації, ентропія є мірою невизначеності випадкової величини. Зазвичай, в якості інформаційної ентропії використовують ентропію Шенона. Ентропія Шенона визначає абсолютну межу найкращого стиснення даних без втрат: розглядаючи повідомлення як послідовність незалежних та однаково розподілених випадкових величин, теорема Шенона про кодування доводить що, в границі, середня довжина найкоротшого можливого представлення закодованого повідомлення в заданому алфавіті дорівнює ентропії поділеній на логарифм кількості символів у вихідному алфавіті.
- 熵的概念最先在1864年首先由魯道夫·克勞修斯提出，並應用在热力学中。後來在1948年由克劳德·艾尔伍德·香农第一次引入到信息论中来。
|
| rdfs:comment
|
- In information theory, entropy is a measure of the uncertainty associated with a random variable. The term by itself in this context usually refers to the Shannon entropy, which quantifies, in the sense of an expected value, the information contained in a message, usually in units such as bits. Equivalently, the Shannon entropy is a measure of the average information content one is missing when one does not know the value of the random variable. The concept was introduced by Claude E.
- Entropie ist ein Maß für den mittleren Informationsgehalt oder auch Informationsdichte eines Zeichensystems. Der Begriff in der Informationstheorie ist in Analogie zur Entropie in der Thermodynamik und Statistischen Mechanik benannt. Beide Begriffe haben Gemeinsamkeiten, deren Erkennen allerdings Kenntnisse in beiden Fachgebieten voraussetzt. Das informationstheoretische Verständnis des Begriffes Entropie geht auf Claude E. Shannon zurück und existiert seit etwa 1948.
- Entropía es un concepto en termodinámica, mecánica estadística y teoría de la información. Los conceptos de información y entropía están ampliamente relacionados entre sí, aunque se tardó años en el desarrollo de la mecánica estadística y la teoría de la información para hacer esto aparente. Este artículo versa sobre la entropía, en la formulación que hace de ella la Teoría de la información. Esta entropía se llama frecuentemente entropía de Shannon, en honor a Claude E.
- L'entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (collection d'octets).
- A Shannon-féle entrópiafüggvényt Claude Shannon amerikai matematikus és híradástechnikai szakember vezette be a negyvenes évek legvégén az információ nevű fogalom fizikai mennyiséggé és mérhetővé tételére (bár már Shannon előtt is próbálkoztak ezzel, ld. lentebb). Ma e fogalom és tanulmányozása az információelmélet egyik alapja.
- Nella teoria dell'informazione - e in rapporto alla teoria dei segnali - l'entropia misura la quantità di incertezza o informazione presente in un segnale aleatorio. Da un altro punto di vista l'entropia è la minima complessità descrittiva di una variabile aleatoria, ovvero il limite inferiore della compressione dei dati.
- Entropie is de maat voor informatiedichtheid in een reeks gebeurtenissen. Informatie ontstaat als een gebeurtenis plaatsvindt waarvan vooraf onzeker was of deze daadwerkelijk zou gebeuren. In de informatietheorie wordt dit inzicht verder wiskundig uitgewerkt. De gemiddelde hoeveelheid informatie bij een nog plaats te vinden gebeurtenis of een nog uit te voeren experiment, is gedefinieerd als de mathematische verwachting van de hoeveelheid zelfinformatie die deze gebeurtenis op zal leveren.
- Entropia w ramach teorii informacji jest definiowana jako średnia ilość informacji, przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru. Zdarzenia w tym zbiorze mają przypisane prawdopodobieństwa wystąpienia. Wzór na entropię: <math>H(x)=\sum_{i=1}^np(i)\log_r \frac{1}{p(i)}= - \sum_{i=1}^np(i)\log_r {p(i)}\,\!</math> gdzie p(i) - prawdopodobieństwo zajścia zdarzenia i.
- Entropia equivale à perda de energia ou até mesmo desordem. Sendo considerada por Einstein como a primeira lei de todas a ciências. Na área de comunicação, tem-se a entropia da informação que é definida como sendo uma forma de medir a quantidade de informação. Ou seja, uma mensagem tem certa quantidade de informação quanto maior for o seu grau de incerteza ou imprevisibilidade.
- În teoria informaţiei, entropia Shannon sau entropia informaţională măsoară incertitudinea asociată cu o variabilă aleatoare. Această măsură indică şi cantitatea de informaţie conţinută într-un mesaj, exprimată de obicei în biţi sau în biţi pe simbol. Când este exprimată în biţi, ea reprezintă lungimea minimă pe care trebuie să o aibă un mesaj pentru a comunica informaţia.
- Информацио́нная энтропи́я — мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.
- Entropi definierades som ett begrepp inom informationsteorin av Claude Shannon 1948 för en informationskälla som genererar symboler. Baserat på sannolikheten för varje symbol definieras entropin över hela sannolikhetsfördelningen som: <math>H = - \sum_i p_i \log p_i \,</math> Begreppet definierades utifrån behovet att beräkna kapaciteten hos kommunikationskanaler, och grundar sig på stokastiska sannolikheter.
- Інформаційна ентропія — в теорії інформації, ентропія є мірою невизначеності випадкової величини. Зазвичай, в якості інформаційної ентропії використовують ентропію Шенона.
- 熵的概念最先在1864年首先由魯道夫·克勞修斯提出，並應用在热力学中。後來在1948年由克劳德·艾尔伍德·香农第一次引入到信息论中来。
|
![[RDF Data]](/statics/sw-cube.png)
