"\u0395\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1 \u03C0\u03BB\u03B7\u03C1\u03BF\u03C6\u03BF\u03C1\u03B9\u03CE\u03BD"@el . . . "Nella teoria dell'informazione l'entropia di una sorgente di messaggi \u00E8 l'informazione media contenuta in ogni messaggio emesso. L'informazione contenuta in un messaggio \u00E8 tanto pi\u00F9 grande quanto meno probabile era. Un messaggio scontato, che ha un'alta probabilit\u00E0 di essere emesso dalla sorgente contiene poca informazione, mentre un messaggio inaspettato, poco probabile contiene una grande quantit\u00E0 di informazione. L'entropia di una sorgente risponde a domande come: qual \u00E8 il numero minimo di bit che servono per memorizzare in media un messaggio della sorgente? Quanto sono prevedibili i messaggi emessi dalla sorgente? Si \u00E8 dimostrato che una sequenza di messaggi emessi da una sorgente pu\u00F2 essere compressa senza perdita d'informazione fino ad un numero minimo di bit per messaggio uguale all'entropia della sorgente. Una sequenza di lettere come aaaaaaaa possiede meno entropia di una parola come alfabeto la quale a sua volta possiede ancora meno entropia di una stringa completamente casuale come j3s0vek3. L'entropia pu\u00F2 essere vista come la casualit\u00E0 contenuta in una stringa, ed \u00E8 strettamente collegata al numero minimo di bit necessari per rappresentarla senza errori."@it . . . . . . . . . . . "In information theory, the entropy of a random variable is the average level of \"information\", \"surprise\", or \"uncertainty\" inherent to the variable's possible outcomes. Given a discrete random variable , which takes values in the alphabet and is distributed according to :"@en . . . "Entrop\u00EDa (informaci\u00F3n)"@es . . "\u0406\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0439\u043D\u0430 \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u044F"@uk . "Informa\u010Dn\u00ED nebo t\u00E9\u017E shannonovsk\u00E1 entropie je st\u0159edn\u00ED hodnota mno\u017Estv\u00ED informace p\u0159ipadaj\u00EDc\u00ED na jeden symbol generovan\u00FD stochastick\u00FDm zdrojem dat. M\u00EDra informa\u010Dn\u00ED entropie p\u0159i\u0159azen\u00E1 ke ka\u017Ed\u00E9 mo\u017En\u00E9 datov\u00E9 hodnot\u011B je z\u00E1porn\u00FDm logaritmem pravd\u011Bpodobnostn\u00ED funkce dan\u00E9 hodnoty: kde je st\u0159edn\u00ED hodnota definovan\u00E1 pravd\u011Bpodobnost\u00ED . Kdy\u017E datov\u00FD zdroj vyprodukuje hodnotu (symbol), kter\u00E1 m\u00E1 n\u00EDzkou pravd\u011Bpodobnost (tj. nastane ud\u00E1lost s n\u00EDzkou pravd\u011Bpodobnost\u00ED), nese tato ud\u00E1lost v\u00EDce \u201Einformace\u201C (zp\u016Fsob\u00ED v\u011Bt\u0161\u00ED \u201Ep\u0159ekvapen\u00ED\u201C), ne\u017E vyprodukov\u00E1n\u00ED hodnoty, kter\u00E1 m\u00E1 pravd\u011Bpodobnost vysokou. Pokud mno\u017Estv\u00ED informace, kter\u00E9 nese ka\u017Ed\u00E1 ud\u00E1lost, pova\u017Eujeme za n\u00E1hodnou veli\u010Dinu, informa\u010Dn\u00ED entropie je st\u0159edn\u00ED hodnota t\u00E9to n\u00E1hodn\u00E9 ud\u00E1losti. Entropie obecn\u011B vyjad\u0159uje neuspo\u0159\u00E1danost nebo nejistotu, a definice entropie pou\u017E\u00EDvan\u00E1 v teorii informace je p\u0159\u00EDmou analogi\u00ED entropie pou\u017E\u00EDvan\u00E9 ve statistick\u00E9 termodynamice. Koncept informa\u010Dn\u00ED entropie p\u0159edstavil Claude Shannon v roce 1948 ve sv\u00E9m \u010Dl\u00E1nku \u201E\". Z\u00E1kladn\u00ED model syst\u00E9mu datov\u00E9 komunikace obsahuje t\u0159i prvky: zdroj dat, a p\u0159ij\u00EDma\u010D a \u2013 jak vyj\u00E1d\u0159il Shannon \u2013 \u201Ez\u00E1kladn\u00EDm probl\u00E9mem komunikace\u201C je, aby p\u0159ij\u00EDma\u010D byl schopen ze sign\u00E1lu, kter\u00FD p\u0159ij\u00EDm\u00E1 z p\u0159enosov\u00E9ho kan\u00E1lu, identifikovat, jak\u00E1 data byla vygenerovan\u00E1 zdrojem. Entropie vyjad\u0159uje absolutn\u00ED doln\u00ED mez pr\u016Fm\u011Brn\u00E9 d\u00E9lky bezztr\u00E1tov\u00E9ho k\u00F3dov\u00E1n\u00ED dat vytv\u00E1\u0159en\u00FDch zdrojem. Pokud je entropie zdroje men\u0161\u00ED ne\u017E , je mo\u017En\u00E9 data generovan\u00E1 zdrojem spolehliv\u011B p\u0159en\u00E9st k p\u0159ij\u00EDma\u010Di (alespo\u0148 teoreticky, p\u0159\u00EDpadn\u011B se zanedb\u00E1n\u00EDm ur\u010Dit\u00FDch praktick\u00FDch krit\u00E9ri\u00ED jako nap\u0159\u00EDklad \u010Dasu pot\u0159ebn\u00E9ho pro p\u0159enos dat a slo\u017Eitosti syst\u00E9mu k tomuto \u00FA\u010Delu). Informa\u010Dn\u00ED entropie se nej\u010Dast\u011Bji m\u011B\u0159\u00ED v bitech (kter\u00FDm se v t\u00E9to souvislosti tak\u00E9 \u0159\u00EDk\u00E1 \u201Eshannons\u201C), n\u011Bkdy v \u201Ep\u0159irozen\u00FDch jednotk\u00E1ch\u201C nebo v des\u00EDtkov\u00FDch \u010D\u00EDslic\u00EDch (naz\u00FDvan\u00FD \u201Edits\u201C, \u201Ebans\u201C nebo \u201E\u201C). Jednotka m\u011B\u0159en\u00ED z\u00E1vis\u00ED na z\u00E1kladu logaritmu pou\u017Eit\u00E9ho pro v\u00FDpo\u010Det entropie. Logaritmus rozd\u011Blen\u00ED pravd\u011Bpodobnosti je vhodn\u00FD jako m\u00EDra entropie, proto\u017Ee pro nez\u00E1visl\u00E9 zdroje je aditivn\u00ED. Nap\u0159\u00EDklad entropie vrhu poctivou minc\u00ED je 1 bit a entropie m vrh\u016F je m bit\u016F. V p\u0159\u00EDmo\u010Dar\u00E9 reprezentaci je pot\u0159eba log2(n) bit\u016F pro reprezentaci prom\u011Bnn\u00E9, kter\u00E1 m\u016F\u017Ee nab\u00FDvat jedn\u00E9 z n hodnot, jestli\u017Ee n je mocninou dvojky, tj. n = 2k. Pokud jsou v\u0161echny hodnoty stejn\u011B pravd\u011Bpodobn\u00E9, entropie (v bitech) bude log2(n)= k. Pokud se jedna z hodnot bude objevovat \u010Dast\u011Bji ne\u017E ostatn\u00ED, pozorov\u00E1n\u00ED t\u00E9to hodnoty je m\u00E9n\u011B informativn\u00ED, ne\u017E kdyby do\u0161lo k m\u00E9n\u011B obvykl\u00E9mu v\u00FDsledku. Naopak pozorov\u00E1n\u00ED vz\u00E1cn\u011Bj\u0161\u00ED ud\u00E1losti poskytuje v\u00EDce informace. Proto\u017Ee pozorov\u00E1n\u00ED m\u00E9n\u011B pravd\u011Bpodobn\u00FDch ud\u00E1lost\u00ED se objevuj\u00ED m\u00E9n\u011B \u010Dasto, zp\u016Fsobuj\u00ED, \u017Ee entropie (bran\u00E1 jako pr\u016Fm\u011Brn\u00E1 informace) poch\u00E1zej\u00EDc\u00ED z nerovnom\u011Brn\u011B distribuovan\u00FDch dat je v\u017Edy men\u0161\u00ED nebo rovna log2(n). Entropie je nulov\u00E1, pokud je jist\u00E9, \u017Ee nastane jedna ur\u010Dit\u00E1 ud\u00E1lost. Entropie je veli\u010Dina, kter\u00E1 kvantifikuje tato krit\u00E9ria pro zn\u00E1m\u00E9 rozd\u011Blen\u00ED pravd\u011Bpodobnosti zdrojov\u00FDch dat. Entropie nez\u00E1vis\u00ED na obsahu pozorovan\u00FDch ud\u00E1lost\u00ED (v\u00FDznamu zpr\u00E1vy), ale bere v \u00FAvahu pouze pravd\u011Bpodobnosti jejich v\u00FDskytu. To znamen\u00E1, \u017Ee entropie z\u00E1vis\u00ED pouze na podkladov\u00E9m rozd\u011Blen\u00ED pravd\u011Bpodobnosti, nikoli na v\u00FDznamu ud\u00E1lost\u00ED sam\u00FDch."@cs . . . . . . . . . . . . . . "Entropi \u00E4r ett begrepp inom informationsteorin, definierat av Claude Shannon 1948, f\u00F6r en informationsk\u00E4lla som genererar symboler. Baserat p\u00E5 sannolikheten f\u00F6r varje symbol definieras entropin \u00F6ver hela sannolikhetsf\u00F6rdelningen som: Begreppet definierades utifr\u00E5n behovet att ber\u00E4kna kapaciteten hos kommunikationskanaler, och grundar sig p\u00E5 stokastiska sannolikheter. Definitionen \u00E4r skapad som en analogi till den mikroskopiska definitionen av den termodynamiska storheten entropi."@sv . "\u60C5\u5831\u91CF"@ja . . "Entropi \u00E4r ett begrepp inom informationsteorin, definierat av Claude Shannon 1948, f\u00F6r en informationsk\u00E4lla som genererar symboler. Baserat p\u00E5 sannolikheten f\u00F6r varje symbol definieras entropin \u00F6ver hela sannolikhetsf\u00F6rdelningen som: Begreppet definierades utifr\u00E5n behovet att ber\u00E4kna kapaciteten hos kommunikationskanaler, och grundar sig p\u00E5 stokastiska sannolikheter. Definitionen \u00E4r skapad som en analogi till den mikroskopiska definitionen av den termodynamiska storheten entropi."@sv . . . . "\uFEFF \u0406\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0301\u0439\u043D\u0430 \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u0301\u044F (\u0430\u043D\u0433\u043B. information entropy) \u2014 \u0446\u0435 \u0443\u0441\u0435\u0440\u0435\u0434\u043D\u0435\u043D\u0430 \u0448\u0432\u0438\u0434\u043A\u0456\u0441\u0442\u044C, \u0456\u0437 \u044F\u043A\u043E\u044E \u043F\u0440\u043E\u0434\u0443\u043A\u0443\u0454 \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u044E \u0441\u0442\u043E\u0445\u0430\u0441\u0442\u0438\u0447\u043D\u0435 \u0434\u0436\u0435\u0440\u0435\u043B\u043E \u0434\u0430\u043D\u0438\u0445. \u041C\u0456\u0440\u043E\u044E \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0439\u043D\u043E\u0457 \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u0457, \u043F\u043E\u0432'\u044F\u0437\u0430\u043D\u043E\u044E \u0437 \u043A\u043E\u0436\u043D\u0438\u043C \u043C\u043E\u0436\u043B\u0438\u0432\u0438\u043C \u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F\u043C \u0434\u0430\u043D\u0438\u0445, \u0454 \u0432\u0456\u0434'\u0454\u043C\u043D\u0438\u0439 \u043B\u043E\u0433\u0430\u0440\u0438\u0444\u043C \u0444\u0443\u043D\u043A\u0446\u0456\u0457 \u043C\u0430\u0441\u0438 \u0439\u043C\u043E\u0432\u0456\u0440\u043D\u043E\u0441\u0442\u0456 \u0434\u043B\u044F \u0446\u044C\u043E\u0433\u043E \u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F: . \u0422\u0430\u043A\u0438\u043C \u0447\u0438\u043D\u043E\u043C, \u043A\u043E\u043B\u0438 \u0434\u0436\u0435\u0440\u0435\u043B\u043E \u0434\u0430\u043D\u0438\u0445 \u043C\u0430\u0454 \u043C\u0435\u043D\u0448 \u0456\u043C\u043E\u0432\u0456\u0440\u043D\u0435 \u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F (\u043D\u0430\u043F\u0440\u0438\u043A\u043B\u0430\u0434, \u043A\u043E\u043B\u0438 \u0441\u0442\u0430\u0454\u0442\u044C\u0441\u044F \u043D\u0438\u0437\u044C\u043A\u043E\u0439\u043C\u043E\u0432\u0456\u0440\u043D\u0430 \u043F\u043E\u0434\u0456\u044F), \u0442\u043E \u0446\u044F \u043F\u043E\u0434\u0456\u044F \u043D\u0435\u0441\u0435 \u0431\u0456\u043B\u044C\u0448\u0435 \u00AB\u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0457\u00BB (\u00AB\u043D\u0435\u043E\u0447\u0456\u043A\u0443\u0432\u0430\u043D\u043E\u0441\u0442\u0456\u00BB), \u043D\u0456\u0436 \u043A\u043E\u043B\u0438 \u0434\u0436\u0435\u0440\u0435\u043B\u043E \u0434\u0430\u043D\u0438\u0445 \u043C\u0430\u0454 \u0431\u0456\u043B\u044C\u0448 \u0456\u043C\u043E\u0432\u0456\u0440\u043D\u0435 \u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F. \u0412\u0438\u0437\u043D\u0430\u0447\u0435\u043D\u0430 \u0442\u0430\u043A\u0438\u043C \u0447\u0438\u043D\u043E\u043C \u043A\u0456\u043B\u044C\u043A\u0456\u0441\u0442\u044C \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0457, \u0449\u043E \u043F\u0435\u0440\u0435\u0434\u0430\u0454\u0442\u044C\u0441\u044F \u043A\u043E\u0436\u043D\u043E\u044E \u043F\u043E\u0434\u0456\u0454\u044E, \u0441\u0442\u0430\u0454 \u0432\u0438\u043F\u0430\u0434\u043A\u043E\u0432\u043E\u044E \u0437\u043C\u0456\u043D\u043D\u043E\u044E, \u0447\u0438\u0454 \u043C\u0430\u0442\u0435\u043C\u0430\u0442\u0438\u0447\u043D\u0435 \u0441\u043F\u043E\u0434\u0456\u0432\u0430\u043D\u043D\u044F \u0454 \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0439\u043D\u043E\u044E \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u0454\u044E. \u0412\u0437\u0430\u0433\u0430\u043B\u0456, \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u044E \u043F\u043E\u0437\u043D\u0430\u0447\u0430\u044E\u0442\u044C \u0431\u0435\u0437\u043B\u0430\u0434 \u0430\u0431\u043E \u043D\u0435\u0432\u0438\u0437\u043D\u0430\u0447\u0435\u043D\u0456\u0441\u0442\u044C, \u0456 \u0432\u0438\u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u0457, \u0449\u043E \u0437\u0430\u0441\u0442\u043E\u0441\u043E\u0432\u0443\u044E\u0442\u044C \u0432 \u0442\u0435\u043E\u0440\u0456\u0457 \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0457, \u0454 \u043F\u0440\u044F\u043C\u0438\u043C \u0430\u043D\u0430\u043B\u043E\u0433\u043E\u043C \u0432\u0438\u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F, \u0449\u043E "@uk . . . "968"^^ . . . "\u0627\u0639\u062A\u0644\u0627\u062C \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A (\u0628\u0627\u0644\u0625\u0646\u062C\u0644\u064A\u0632\u064A\u0629: information entropy)\u200F \u0623\u0648 \u0625\u0646\u062A\u0631\u0648\u0628\u064A \u0623\u0648 \u0623\u0646\u062A\u0631\u0648\u0628\u064A\u0627\u060C \u0647\u064A \u0643\u0645\u064A\u0629 \u0623\u0633\u0627\u0633\u064A\u0629 \u0641\u064A \u0646\u0638\u0631\u064A\u0629 \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0645\u0631\u062A\u0628\u0637\u0629 \u0628\u0623\u064A \u0645\u062A\u063A\u064A\u0631 \u0639\u0634\u0648\u0627\u0626\u064A\u060C \u0648\u0627\u0644\u062A\u064A \u064A\u0645\u0643\u0646 \u062A\u0641\u0633\u064A\u0631\u0647\u0627 \u0639\u0644\u0649 \u0623\u0646\u0647\u0627 \u0645\u062A\u0648\u0633\u0637 \u0645\u0633\u062A\u0648\u0649 \u00AB\u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A\u00BB \u0623\u0648 \u00AB\u0627\u0644\u0645\u0641\u0627\u062C\u0623\u0629\u00BB \u0623\u0648 \u00AB\u0639\u062F\u0645 \u0627\u0644\u064A\u0642\u064A\u0646\u00BB \u0627\u0644\u0645\u062A\u0623\u0635\u0644 \u0641\u064A \u0627\u0644\u0646\u062A\u0627\u0626\u062C \u0627\u0644\u0645\u062D\u062A\u0645\u0644\u0629 \u0644\u0644\u0645\u062A\u063A\u064A\u0631. \u062A\u0645 \u062A\u0642\u062F\u064A\u0645 \u0645\u0641\u0647\u0648\u0645 \u0627\u0646\u062A\u0631\u0648\u0628\u064A\u0627 \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0645\u0646 \u0642\u0628\u0644 \u0643\u0644\u0648\u062F \u0634\u0627\u0646\u0648\u0646 \u0641\u064A \u0648\u0631\u0642\u062A\u0647 \u0639\u0627\u0645 1948 \u00AB\u0646\u0638\u0631\u064A\u0629 \u0631\u064A\u0627\u0636\u064A\u0629 \u0641\u064A \u0627\u0644\u0627\u062A\u0635\u0627\u0644\u00BB. \u0627\u0644\u0625\u0646\u062A\u0631\u0648\u0628\u064A \u0647\u064A \u0627\u0644\u0642\u064A\u0645\u0629 \u0627\u0644\u0645\u062A\u0648\u0642\u0639\u0629 \u0644\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0627\u0644\u0630\u0627\u062A\u064A\u0629\u060C \u0648\u0647\u064A \u0643\u0645\u064A\u0629 \u0630\u0627\u062A \u0635\u0644\u0629 \u0642\u062F\u0645\u0647\u0627 \u0634\u0627\u0646\u0648\u0646 \u0623\u064A\u0636\u064B\u0627. \u064A\u0642\u064A\u0633 \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0627\u0644\u0630\u0627\u062A\u064A\u0629 \u0645\u0633\u062A\u0648\u0649 \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0623\u0648 \u0627\u0644\u0645\u0641\u0627\u062C\u0623\u0629 \u0627\u0644\u0645\u0631\u062A\u0628\u0637\u0629 \u0628\u0627\u0644\u0646\u062A\u064A\u062C\u0629 \u0627\u0644\u0648\u0627\u062D\u062F\u0629 \u0627\u0644\u0645\u0639\u064A\u0646\u0629 \u0623\u0648 \u062D\u062F\u062B \u0645\u062A\u063A\u064A\u0631 \u0639\u0634\u0648\u0627\u0626\u064A\u060C \u0641\u064A \u062D\u064A\u0646 \u0623\u0646 \u062A\u0642\u064A\u0633 \u0627\u0646\u062A\u0631\u0648\u0628\u064A\u0627 \u0643\u0645 \u0647\u0648\u00AB\u0645\u0641\u064A\u062F\u00BB \u0623\u0648 \u00AB\u0645\u062F\u0647\u0634\u00BB \u0627\u0644\u0645\u062A\u063A\u064A\u0631 \u0627\u0644\u0639\u0634\u0648\u0627\u0626\u064A \u0643\u0644\u0647\u060C \u0627\u0644\u0630\u064A \u0628\u0644\u063A\u062A \u0645\u062A\u0648\u0633\u0637 \u0643\u0644 \u0646\u062A\u0627\u0626\u062C\u0647 \u0627\u0644\u0645\u062D\u062A\u0645\u0644\u0629. \u062A\u0645 \u0625\u0646\u0634\u0627\u0621 \u0627\u0644\u0625\u0646\u062A\u0631\u0648\u0628\u064A \u0641\u064A \u0627\u0644\u0623\u0635\u0644 \u0645\u0646 \u0642\u0628\u0644 \u0634\u0627\u0646\u0648\u0646 \u0643\u062C\u0632\u0621 \u0645\u0646 \u0646\u0638\u0631\u064A\u062A\u0647 \u0641\u064A \u0627\u0644\u0627\u062A\u0635\u0627\u0644\u060C \u062D\u064A\u062B \u064A\u062A\u0643\u0648\u0646 \u0646\u0638\u0627\u0645 \u0627\u062A\u0635\u0627\u0644\u0627\u062A \u0627\u0644\u0628\u064A\u0627\u0646\u0627\u062A \u0645\u0646 \u062B\u0644\u0627\u062B\u0629 \u0639\u0646\u0627\u0635\u0631: \u0645\u0635\u062F\u0631 \u0627\u0644\u0628\u064A\u0627\u0646\u0627\u062A\u060C \u0648\u0642\u0646\u0627\u0629 \u0627\u062A\u0635\u0627\u0644\u060C \u0648\u062C\u0647\u0627\u0632 \u0627\u0633\u062A\u0642\u0628\u0627\u0644. \u0641\u064A \u0646\u0638\u0631\u064A\u0629 \u0634\u0627\u0646\u0648\u0646\u060C \u0625\u0646 \u00AB\u0645\u0634\u0643\u0644\u0629 \u0627\u0644\u0627\u062A\u0635\u0627\u0644 \u0627\u0644\u0623\u0633\u0627\u0633\u064A\u0629\u00BB - \u0643\u0645\u0627 \u0639\u0628\u0631 \u0639\u0646\u0647\u0627 \u0634\u0627\u0646\u0648\u0646 - \u0647\u064A \u0623\u0646 \u064A\u0643\u0648\u0646 \u0627\u0644\u0645\u062A\u0644\u0642\u064A \u0642\u0627\u062F\u0631\u064B\u0627 \u0639\u0644\u0649 \u062A\u062D\u062F\u064A\u062F \u0627\u0644\u0628\u064A\u0627\u0646\u0627\u062A \u0627\u0644\u062A\u064A \u062A\u0645 \u0625\u0646\u0634\u0627\u0624\u0647\u0627 \u0628\u0648\u0627\u0633\u0637\u0629 \u0627\u0644\u0645\u0635\u062F\u0631\u060C \u0628\u0646\u0627\u0621\u064B \u0639\u0644\u0649 \u0627\u0644\u0625\u0634\u0627\u0631\u0629 \u0627\u0644\u062A\u064A \u064A\u062A\u0644\u0642\u0627\u0647\u0627 \u0639\u0628\u0631 \u0627\u0644\u0642\u0646\u0627\u0629. \u0646\u0638\u0631 \u0634\u0627\u0646\u0648\u0646 \u0641\u064A \u0637\u0631\u0642 \u0645\u062E\u062A\u0644\u0641\u0629 \u0644\u062A\u0639\u0645\u064A\u0629 \u0627\u0644\u0631\u0633\u0627\u0626\u0644 \u0648\u0636\u063A\u0637\u0647\u0627 \u0648\u0646\u0642\u0644\u0647\u0627 \u0645\u0646 \u0645\u0635\u062F\u0631 \u0628\u064A\u0627\u0646\u0627\u062A\u060C \u0648\u0623\u062B\u0628\u062A \u0641\u064A \u0646\u0638\u0631\u064A\u062A\u0647 \u0627\u0644\u0634\u0647\u064A\u0631\u0629 \u0644\u062A\u0631\u0645\u064A\u0632 \u0627\u0644\u0645\u0635\u062F\u0631 \u0623\u0646 \u0627\u0644\u0625\u0646\u062A\u0631\u0648\u0628\u064A\u0627 \u062A\u0645\u062B\u0644 \u062D\u062F\u064B\u0627 \u0631\u064A\u0627\u0636\u064A\u064B\u0627 \u0645\u0637\u0644\u0642\u064B\u0627 \u062D\u0648\u0644 \u0643\u064A\u0641\u064A\u0629 \u0636\u063A\u0637 \u0627\u0644\u0628\u064A\u0627\u0646\u0627\u062A \u0645\u0646 \u0627\u0644\u0645\u0635\u062F\u0631 \u062F\u0648\u0646 \u0636\u064A\u0627\u0639 \u0639\u0644\u0649 \u0642\u0646\u0627\u0629 \u062E\u0627\u0644\u064A\u0629 \u0645\u0646 \u0627\u0644\u062A\u0634\u0648\u064A\u0634 \u062A\u0645\u0627\u0645\u064B\u0627. \u0639\u0632\u0632 \u0634\u0627\u0646\u0648\u0646 \u0647\u0630\u0647 \u0627\u0644\u0646\u062A\u064A\u062C\u0629 \u0628\u0634\u0643\u0644 \u0643\u0628\u064A\u0631 \u0644\u0644\u0642\u0646\u0648\u0627\u062A \u0627\u0644\u0635\u0627\u062E\u0628\u0629 \u0641\u064A \u0646\u0638\u0631\u064A\u0629 \u0627\u0644\u062A\u0631\u0645\u064A\u0632 \u0630\u0627\u062A \u0627\u0644\u0642\u0646\u0627\u0629 \u0627\u0644\u0635\u0627\u062E\u0628\u0629. \u064A\u0645\u0643\u0646 \u062A\u0641\u0633\u064A\u0631 \u0627\u0644\u0625\u0646\u062A\u0631\u0648\u0628\u064A\u0627 \u0623\u064A\u0636\u064B\u0627 \u0639\u0644\u0649 \u0623\u0646\u0647\u0627 \u0645\u062A\u0648\u0633\u0637 \u0645\u0639\u062F\u0644 \u0625\u0646\u062A\u0627\u062C \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0645\u0646 \u062E\u0644\u0627\u0644 \u0645\u0635\u062F\u0631 \u0627\u062D\u0635\u0627\u0626\u064A \u0644\u0644\u0628\u064A\u0627\u0646\u0627\u062A. \u0639\u0646\u062F\u0645\u0627 \u064A\u0646\u062A\u062C \u0645\u0635\u062F\u0631 \u0627\u0644\u0628\u064A\u0627\u0646\u0627\u062A \u0642\u064A\u0645\u0629 \u0627\u062D\u062A\u0645\u0627\u0644\u064A\u0629 \u0645\u0646\u062E\u0641\u0636\u0629 (\u0639\u0644\u0649 \u0633\u0628\u064A\u0644 \u0627\u0644\u0645\u062B\u0627\u0644\u060C \u0639\u0646\u062F \u0648\u0642\u0648\u0639 \u062D\u062F\u062B \u0627\u062D\u062A\u0645\u0627\u0644\u064A\u0629 \u0645\u0646\u062E\u0641\u0636\u0629)\u060C \u064A\u062D\u0645\u0644 \u0627\u0644\u062D\u062F\u062B \u00AB\u0645\u0639\u0644\u0648\u0645\u0627\u062A\u00BB \u0623\u0643\u062B\u0631 \u0645\u0645\u0627 \u064A\u0646\u062A\u062C \u0639\u0646\u062F\u0645\u0627 \u064A\u0646\u062A\u062C \u0645\u0635\u062F\u0631 \u0627\u0644\u0628\u064A\u0627\u0646\u0627\u062A \u0642\u064A\u0645\u0629 \u0627\u062D\u062A\u0645\u0627\u0644\u064A\u0629 \u0639\u0627\u0644\u064A\u0629. \u064A\u062A\u0645 \u062A\u0645\u062B\u064A\u0644 \u0645\u0641\u0647\u0648\u0645 \u00AB\u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A\u00BB \u0631\u0633\u0645\u064A\u064B\u0627 \u0645\u0646 \u062E\u0644\u0627\u0644 \u0643\u0645\u064A\u0629 \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0627\u0644\u0630\u0627\u062A\u064A\u0629 \u0644\u0634\u0627\u0646\u0648\u0646\u060C \u0648\u064A\u062A\u0645 \u0623\u064A\u0636\u064B\u0627 \u062A\u0641\u0633\u064A\u0631\u0647\u0627 \u0623\u062D\u064A\u0627\u0646\u064B\u0627 \u0639\u0644\u0649 \u0623\u0646\u0647\u0627 \u00AB\u0645\u0641\u0627\u062C\u0623\u0629\u00BB. \u062B\u0645 \u062A\u0635\u0628\u062D \u0643\u0645\u064A\u0629 \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0627\u0644\u062A\u064A \u064A\u0646\u0642\u0644\u0647\u0627 \u0643\u0644 \u062D\u062F\u062B \u0641\u0631\u062F\u064A \u0645\u062A\u063A\u064A\u0631\u064B\u0627 \u0639\u0634\u0648\u0627\u0626\u064A\u064B\u0627 \u0642\u064A\u0645\u062A\u0647 \u0627\u0644\u0645\u062A\u0648\u0642\u0639\u0629 \u0647\u064A \u0625\u0646\u062A\u0631\u0648\u0628\u064A\u0627 \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A. \u0644\u064A\u0643\u0646 \u0627\u0644\u0645\u062A\u063A\u064A\u0631 \u0627\u0644\u0639\u0634\u0648\u0627\u0626\u064A \u060C \u0645\u0639 \u0627\u0644\u0646\u062A\u0627\u0626\u062C \u0627\u0644\u0645\u062D\u062A\u0645\u0644\u0629 \u060C \u0644\u0643\u0644 \u0645\u0646\u0647\u0627 \u0627\u062D\u062A\u0645\u0627\u0644 \u0627\u0646\u062A\u0631\u0648\u0628\u064A \u0645\u0646 \u0639\u0644\u0649 \u0627\u0644\u0646\u062D\u0648 \u0627\u0644\u062A\u0627\u0644\u064A: \u062D\u064A\u062B \u0647\u064A \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0627\u0644\u0630\u0627\u062A\u064A\u0629 \u0627\u0644\u0645\u0631\u062A\u0628\u0637\u0629 \u0628\u0646\u062A\u064A\u062C\u0629 \u0645\u0639\u064A\u0646\u0629\u061B \u0647\u064A \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0627\u0644\u0630\u0627\u062A\u064A\u0629 \u0644\u0644\u0645\u062A\u063A\u064A\u0631 \u0627\u0644\u0639\u0634\u0648\u0627\u0626\u064A \u0628\u0634\u0643\u0644 \u0639\u0627\u0645\u060C \u064A\u0639\u0627\u0645\u0644 \u0643\u0645\u062A\u063A\u064A\u0631 \u0639\u0634\u0648\u0627\u0626\u064A \u0645\u0634\u062A\u0642 \u062C\u062F\u064A\u062F\u061B \u0648 \u0647\u064A \u0627\u0644\u0642\u064A\u0645\u0629 \u0627\u0644\u0645\u062A\u0648\u0642\u0639\u0629 \u0644\u0647\u0630\u0627 \u0627\u0644\u0645\u062A\u063A\u064A\u0631 \u0627\u0644\u0639\u0634\u0648\u0627\u0626\u064A \u0627\u0644\u062C\u062F\u064A\u062F\u060C \u0648\u0647\u064A \u062A\u0633\u0627\u0648\u064A \u0645\u062C\u0645\u0648\u0639 \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0627\u0644\u0630\u0627\u062A\u064A\u0629 \u0644\u0643\u0644 \u0646\u062A\u064A\u062C\u0629\u060C \u0648\u0645\u0631\u062C\u062D\u0629 \u0628\u0627\u062D\u062A\u0645\u0627\u0644 \u062D\u062F\u0648\u062B \u0643\u0644 \u0646\u062A\u064A\u062C\u0629 \u061B \u0648 \u060C \u0623\u0633\u0627\u0633 \u0627\u0644\u0644\u0648\u063A\u0627\u0631\u064A\u062A\u0645\u060C \u0647\u0648 \u0645\u0639\u0644\u0645\u0629 \u062C\u062F\u064A\u062F\u0629 \u064A\u0645\u0643\u0646 \u062A\u0639\u064A\u064A\u0646\u0647\u0627 \u0628\u0637\u0631\u0642 \u0645\u062E\u062A\u0644\u0641\u0629 \u0644\u062A\u062D\u062F\u064A\u062F \u0627\u062E\u062A\u064A\u0627\u0631 \u0627\u0644\u0648\u062D\u062F\u0627\u062A \u0644\u0625\u0646\u062A\u0631\u0648\u0628\u064A\u0627 \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A. \u064A\u062A\u0645 \u0642\u064A\u0627\u0633 \u0627\u0646\u062A\u0631\u0648\u0628\u064A \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0639\u0627\u062F\u0629 \u0628\u0648\u062D\u062F\u0629 \u0627\u0644\u0628\u062A (\u0648\u062A\u0633\u0645\u0649 \u0628\u062F\u0644\u0627 \u0645\u0646 \u0630\u0644\u0643 \u00AB\u0634\u0627\u0646\u0648\u0646\u00BB)\u060C \u0627\u0644\u0645\u0648\u0627\u0641\u0642 \u0623\u0633\u0627\u0633 2 \u0641\u064A \u0627\u0644\u0645\u0639\u0627\u062F\u0644\u0629 \u0627\u0644\u0645\u0630\u0643\u0648\u0631\u0629 \u0623\u0639\u0644\u0627\u0647. \u0643\u0645\u0627 \u064A\u062A\u0645 \u0642\u064A\u0627\u0633\u0647 \u0623\u062D\u064A\u0627\u0646\u064B\u0627 \u00AB\u0628\u0648\u062D\u062F\u0627\u062A \u0637\u0628\u064A\u0639\u064A\u0629\u00BB (\u0646\u0627\u062A\u0633 nats)\u060C \u062A\u0642\u0627\u0628\u0644 \u0627\u0644\u0623\u0633\u0627\u0633 e \u0623\u0648 \u0627\u0644\u0623\u0631\u0642\u0627\u0645 \u0627\u0644\u0639\u0634\u0631\u064A\u0629 (\u062A\u0633\u0645\u0649 \"dits\" \u0623\u0648 \"bans\" \u0623\u0648 \" hartleys \")\u060C \u0627\u0644\u0645\u0642\u0627\u0628\u0644\u0629 \u0644\u0644\u0623\u0633\u0627\u0633 10. \u062A\u0639\u0631\u064A\u0641 \u0634\u0627\u0646\u0648\u0646 \u0641\u0631\u064A\u062F \u0628\u0634\u0643\u0644 \u0623\u0633\u0627\u0633\u064A \u0645\u0646 \u062D\u064A\u062B \u0623\u0646\u0647 \u0647\u0648 \u0627\u0644\u0648\u062D\u064A\u062F \u0627\u0644\u0630\u064A \u0644\u0647 \u062E\u0635\u0627\u0626\u0635 \u0645\u0639\u064A\u0646\u0629: \u064A\u062A\u0645 \u062A\u062D\u062F\u064A\u062F\u0647 \u0628\u0627\u0644\u0643\u0627\u0645\u0644 \u0645\u0646 \u062E\u0644\u0627\u0644 \u0627\u0644\u062A\u0648\u0632\u064A\u0639 \u0627\u0644\u0627\u062D\u062A\u0645\u0627\u0644\u064A \u0644\u0645\u0635\u062F\u0631 \u0627\u0644\u0628\u064A\u0627\u0646\u0627\u062A\u060C \u0648\u0647\u0648 \u0627\u0636\u0627\u0641\u064A \u0644\u0644\u0645\u0635\u0627\u062F\u0631 \u0627\u0644\u0645\u0633\u062A\u0642\u0644\u0629\u060C \u064A\u062A\u0645 \u062A\u0639\u0638\u064A\u0645\u0647 \u0641\u064A \u0627\u0644\u062A\u0648\u0632\u064A\u0639 \u0627\u0644\u0645\u0648\u062D\u062F\u060C \u064A\u062A\u0645 \u062A\u0635\u063A\u064A\u0631\u0647 (\u0648\u062A\u0633\u0627\u0648\u064A \u0627\u0644\u0635\u0641\u0631) \u0639\u0646\u062F\u0645\u0627 \u064A\u0643\u0648\u0646 \u0647\u0646\u0627\u0643 \u0627\u062D\u062A\u0645\u0627\u0644 \u0628\u0646\u0633\u0628\u0629 100\u066A \u0644\u062D\u062F\u0648\u062B \u062D\u062F\u062B \u0648\u0627\u062D\u062F \u0641\u0642\u0637\u060C \u0648\u064A\u0637\u064A\u0639 \u0646\u0633\u062E\u0629 \u0645\u0639\u064A\u0646\u0629 \u0645\u0634\u062A\u0642\u0629 \u0645\u0646 \u0642\u0627\u0639\u062F\u0629 \u0633\u0644\u0633\u0644\u0629 \u0627\u0644\u0627\u062D\u062A\u0645\u0627\u0644\u0627\u062A. \u064A\u062A\u0645 \u0634\u0631\u062D \u0627\u0644\u0627\u0634\u062A\u0642\u0627\u0642\u0627\u062A \u0627\u0644\u0628\u062F\u064A\u0647\u064A\u0629 \u0644\u0644\u0627\u0646\u062A\u0631\u0648\u0628\u064A\u0627 \u0641\u064A \u0627\u0644\u0635\u0641\u062D\u0629 \u0623\u062F\u0646\u0627\u0647. \u064A\u062A\u0634\u0627\u0628\u0647 \u062A\u0639\u0631\u064A\u0641 \u0627\u0644\u0625\u0646\u062A\u0631\u0648\u0628\u064A\u0627 \u0627\u0644\u0645\u0633\u062A\u062E\u062F\u0645 \u0641\u064A \u0646\u0638\u0631\u064A\u0629 \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0628\u0634\u0643\u0644 \u0645\u0628\u0627\u0634\u0631 \u0645\u0639 \u0627\u0644\u062A\u0639\u0631\u064A\u0641 \u0627\u0644\u0645\u0633\u062A\u062E\u062F\u0645 \u0641\u064A \u0627\u0644\u062F\u064A\u0646\u0627\u0645\u064A\u0643\u0627 \u0627\u0644\u062D\u0631\u0627\u0631\u064A\u0629 \u0627\u0644\u0625\u062D\u0635\u0627\u0626\u064A\u0629\u060C \u0648\u0647\u064A \u0639\u0644\u0627\u0642\u0629 \u062A\u0645 \u062A\u0641\u0635\u064A\u0644\u0647\u0627 \u0641\u064A \u0627\u0644\u0635\u0641\u062D\u0629 \u0625\u0646\u062A\u0631\u0648\u0628\u064A \u0641\u064A \u0627\u0644\u062F\u064A\u0646\u0627\u0645\u064A\u0643\u0627 \u0627\u0644\u062D\u0631\u0627\u0631\u064A\u0629 \u0648\u0646\u0638\u0631\u064A\u0629 \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A."@ar . . "alorrean entropiak, informazio-entropia eta Shannonen entropia (Claude E. Shannon-en omenez) izenez ere ezagutua, informazio iturri baten ziurgabetasuna neurtzen du. Entropia kontzeptua termodinamikan, mekanika estatistikoan eta erabiltzen da. Kasu guztietan entropia \u00ABdesordenaren neurri\u00BB edo \u00ABkonbinazio jakin batzuen berezitasun\u00BB moduan ulertzen da. Ziurgabetasunaren neurri bat dela edo edozein prozesutan ziurgabetasun hori mugatzeko, murrizteko edo ezabatzeko behar den informazioa dela uler daiteke. Kontua da, informazioaren eta entropiaren kontzeptuek oso harreman estua dutela, nahiz eta hortaz konturatzeko mekanika estatistikoaren eta informazio-teoriaren arloetan lan handia egin behar izan zen."@eu . . . . "\u0627\u0639\u062A\u0644\u0627\u062C \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A (\u0628\u0627\u0644\u0625\u0646\u062C\u0644\u064A\u0632\u064A\u0629: information entropy)\u200F \u0623\u0648 \u0625\u0646\u062A\u0631\u0648\u0628\u064A \u0623\u0648 \u0623\u0646\u062A\u0631\u0648\u0628\u064A\u0627\u060C \u0647\u064A \u0643\u0645\u064A\u0629 \u0623\u0633\u0627\u0633\u064A\u0629 \u0641\u064A \u0646\u0638\u0631\u064A\u0629 \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0645\u0631\u062A\u0628\u0637\u0629 \u0628\u0623\u064A \u0645\u062A\u063A\u064A\u0631 \u0639\u0634\u0648\u0627\u0626\u064A\u060C \u0648\u0627\u0644\u062A\u064A \u064A\u0645\u0643\u0646 \u062A\u0641\u0633\u064A\u0631\u0647\u0627 \u0639\u0644\u0649 \u0623\u0646\u0647\u0627 \u0645\u062A\u0648\u0633\u0637 \u0645\u0633\u062A\u0648\u0649 \u00AB\u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A\u00BB \u0623\u0648 \u00AB\u0627\u0644\u0645\u0641\u0627\u062C\u0623\u0629\u00BB \u0623\u0648 \u00AB\u0639\u062F\u0645 \u0627\u0644\u064A\u0642\u064A\u0646\u00BB \u0627\u0644\u0645\u062A\u0623\u0635\u0644 \u0641\u064A \u0627\u0644\u0646\u062A\u0627\u0626\u062C \u0627\u0644\u0645\u062D\u062A\u0645\u0644\u0629 \u0644\u0644\u0645\u062A\u063A\u064A\u0631. \u062A\u0645 \u062A\u0642\u062F\u064A\u0645 \u0645\u0641\u0647\u0648\u0645 \u0627\u0646\u062A\u0631\u0648\u0628\u064A\u0627 \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A \u0645\u0646 \u0642\u0628\u0644 \u0643\u0644\u0648\u062F \u0634\u0627\u0646\u0648\u0646 \u0641\u064A \u0648\u0631\u0642\u062A\u0647 \u0639\u0627\u0645 1948 \u00AB\u0646\u0638\u0631\u064A\u0629 \u0631\u064A\u0627\u0636\u064A\u0629 \u0641\u064A \u0627\u0644\u0627\u062A\u0635\u0627\u0644\u00BB. \u0644\u064A\u0643\u0646 \u0627\u0644\u0645\u062A\u063A\u064A\u0631 \u0627\u0644\u0639\u0634\u0648\u0627\u0626\u064A \u060C \u0645\u0639 \u0627\u0644\u0646\u062A\u0627\u0626\u062C \u0627\u0644\u0645\u062D\u062A\u0645\u0644\u0629 \u060C \u0644\u0643\u0644 \u0645\u0646\u0647\u0627 \u0627\u062D\u062A\u0645\u0627\u0644 \u0627\u0646\u062A\u0631\u0648\u0628\u064A \u0645\u0646 \u0639\u0644\u0649 \u0627\u0644\u0646\u062D\u0648 \u0627\u0644\u062A\u0627\u0644\u064A:"@ar . . "En el \u00E1mbito de la teor\u00EDa de la informaci\u00F3n la entrop\u00EDa, tambi\u00E9n llamada entrop\u00EDa de la informaci\u00F3n y entrop\u00EDa de Shannon (en honor a Claude E. Shannon), mide la incertidumbre de una fuente de informaci\u00F3n."@es . "p/e035740"@en . . . . . . "\u5728\u4FE1\u606F\u8BBA\u4E2D\uFF0C\u71B5\uFF08\u82F1\u8A9E\uFF1Aentropy\uFF09\u662F\u63A5\u6536\u7684\u6BCF\u6761\u6D88\u606F\u4E2D\u5305\u542B\u7684\u4FE1\u606F\u7684\u5E73\u5747\u91CF\uFF0C\u53C8\u88AB\u7A31\u70BA\u4FE1\u606F\u71B5\u3001\u4FE1\u6E90\u71B5\u3001\u5E73\u5747\u81EA\u4FE1\u606F\u91CF\u3002\u8FD9\u91CC\uFF0C\u201C\u6D88\u606F\u201D\u4EE3\u8868\u6765\u81EA\u5206\u5E03\u6216\u6570\u636E\u6D41\u4E2D\u7684\u4E8B\u4EF6\u3001\u6837\u672C\u6216\u7279\u5F81\u3002\uFF08\u71B5\u6700\u597D\u7406\u89E3\u4E3A\u4E0D\u786E\u5B9A\u6027\u7684\u91CF\u5EA6\u800C\u4E0D\u662F\u786E\u5B9A\u6027\u7684\u91CF\u5EA6\uFF0C\u56E0\u4E3A\u8D8A\u968F\u673A\u7684\u4FE1\u6E90\u7684\u71B5\u8D8A\u5927\u3002\uFF09\u6765\u81EA\u4FE1\u6E90\u7684\u53E6\u4E00\u4E2A\u7279\u5F81\u662F\u6837\u672C\u7684\u6982\u7387\u5206\u5E03\u3002\u8FD9\u91CC\u7684\u60F3\u6CD5\u662F\uFF0C\u6BD4\u8F83\u4E0D\u53EF\u80FD\u53D1\u751F\u7684\u4E8B\u60C5\uFF0C\u5F53\u5B83\u53D1\u751F\u4E86\uFF0C\u4F1A\u63D0\u4F9B\u66F4\u591A\u7684\u4FE1\u606F\u3002\u7531\u4E8E\u4E00\u4E9B\u5176\u4ED6\u7684\u539F\u56E0\uFF0C\u628A\u4FE1\u606F\uFF08\u71B5\uFF09\u5B9A\u4E49\u4E3A\u6982\u7387\u5206\u5E03\u7684\u5BF9\u6570\u7684\u76F8\u53CD\u6570\u662F\u6709\u9053\u7406\u7684\u3002\u4E8B\u4EF6\u7684\u6982\u7387\u5206\u5E03\u548C\u6BCF\u4E2A\u4E8B\u4EF6\u7684\u4FE1\u606F\u91CF\u6784\u6210\u4E86\u4E00\u4E2A\u968F\u673A\u53D8\u91CF\uFF0C\u8FD9\u4E2A\u968F\u673A\u53D8\u91CF\u7684\u5747\u503C\uFF08\u5373\u671F\u671B\uFF09\u5C31\u662F\u8FD9\u4E2A\u5206\u5E03\u4EA7\u751F\u7684\u4FE1\u606F\u91CF\u7684\u5E73\u5747\u503C\uFF08\u5373\u71B5\uFF09\u3002\u71B5\u7684\u5355\u4F4D\u901A\u5E38\u4E3A\u6BD4\u7279\uFF0C\u4F46\u4E5F\u7528Sh\u3001nat\u3001Hart\u8BA1\u91CF\uFF0C\u53D6\u51B3\u4E8E\u5B9A\u4E49\u7528\u5230\u5BF9\u6570\u7684\u5E95\u3002 \u91C7\u7528\u6982\u7387\u5206\u5E03\u7684\u5BF9\u6570\u4F5C\u4E3A\u4FE1\u606F\u7684\u91CF\u5EA6\u7684\u539F\u56E0\u662F\u5176\u53EF\u52A0\u6027\u3002\u4F8B\u5982\uFF0C\u6295\u63B7\u4E00\u6B21\u786C\u5E01\u63D0\u4F9B\u4E861 Sh\u7684\u4FE1\u606F\uFF0C\u800C\u63B7m\u6B21\u5C31\u4E3Am\u4F4D\u3002\u66F4\u4E00\u822C\u5730\uFF0C\u4F60\u9700\u8981\u7528log2(n)\u4F4D\u6765\u8868\u793A\u4E00\u4E2A\u53EF\u4EE5\u53D6n\u4E2A\u503C\u7684\u53D8\u91CF\u3002 \u57281948\u5E74\uFF0C\u514B\u52B3\u5FB7\u00B7\u827E\u5C14\u4F0D\u5FB7\u00B7\u9999\u519C\u5C07\u71B1\u529B\u5B78\u7684\u71B5\uFF0C\u5F15\u5165\u5230\u4FE1\u606F\u8BBA\uFF0C\u56E0\u6B64\u5B83\u53C8\u88AB\u7A31\u70BA\u9999\u519C\u71B5(Shannon entropy)\u3002"@zh . "In information theory, the entropy of a random variable is the average level of \"information\", \"surprise\", or \"uncertainty\" inherent to the variable's possible outcomes. Given a discrete random variable , which takes values in the alphabet and is distributed according to : where denotes the sum over the variable's possible values. The choice of base for , the logarithm, varies for different applications. Base 2 gives the unit of bits (or \"shannons\"), while base e gives \"natural units\" nat, and base 10 gives units of \"dits\", \"bans\", or \"hartleys\". An equivalent definition of entropy is the expected value of the self-information of a variable. The concept of information entropy was introduced by Claude Shannon in his 1948 paper \"A Mathematical Theory of Communication\", and is also referred to as Shannon entropy. Shannon's theory defines a data communication system composed of three elements: a source of data, a communication channel, and a receiver. The \"fundamental problem of communication\" \u2013 as expressed by Shannon \u2013 is for the receiver to be able to identify what data was generated by the source, based on the signal it receives through the channel. Shannon considered various ways to encode, compress, and transmit messages from a data source, and proved in his famous source coding theorem that the entropy represents an absolute mathematical limit on how well data from the source can be losslessly compressed onto a perfectly noiseless channel. Shannon strengthened this result considerably for noisy channels in his noisy-channel coding theorem. Entropy in information theory is directly analogous to the entropy in statistical thermodynamics. The analogy results when the values of the random variable designate energies of microstates, so Gibbs formula for the entropy is formally identical to Shannon's formula. Entropy has relevance to other areas of mathematics such as combinatorics and machine learning. The definition can be derived from a set of axioms establishing that entropy should be a measure of how \"surprising\" the average outcome of a variable is. For a continuous random variable, differential entropy is analogous to entropy."@en . . . . . . . . . . . . "Entropia \u2013 \u015Brednia ilo\u015B\u0107 informacji, przypadaj\u0105ca na pojedyncz\u0105 wiadomo\u015B\u0107 ze \u017Ar\u00F3d\u0142a informacji. Innymi s\u0142owy jest to \u015Brednia wa\u017Cona ilo\u015Bci informacji niesionej przez pojedyncz\u0105 wiadomo\u015B\u0107, gdzie wagami s\u0105 prawdopodobie\u0144stwa nadania poszczeg\u00F3lnych wiadomo\u015Bci. Wz\u00F3r na entropi\u0119 zmiennej losowej o zbiorze warto\u015Bci : W latach 60. XX wieku w\u0119gierski matematyk Alfred R\u00E9nyi uog\u00F3lni\u0142 poj\u0119cie entropii do zbioru funkcji za pomoc\u0105 kt\u00F3rych mo\u017Cna opisa\u0107 ilo\u015Bciowo r\u00F3\u017Cnorodno\u015B\u0107, niepewno\u015B\u0107 czy losowo\u015B\u0107 systemu. Miara ta od jego nazwiska nazywana jest . W\u0142asno\u015Bci entropii:"@pl . . . "\u71B5 (\u4FE1\u606F\u8BBA)"@zh . . . "L'entropia de Shannon, (formulada per Claude Shannon) \u00E9s una funci\u00F3 matem\u00E0tica que intu\u00EFtivament es correspon amb la quantitat d'informaci\u00F3 continguda o lliurada per una font d'informaci\u00F3. Aquesta font pot ser un text escrit en un idioma determinat, un senyal el\u00E8ctric, un fitxer d'ordinador o qualsevol (col\u00B7lecci\u00F3 de bytes). Des del punt de vista d'un receptor, com m\u00E9s informaci\u00F3 diferent emet la font, m\u00E9s gran \u00E9s l'entropia (o incertesa sobre el que emet la font), i viceversa. Com m\u00E9s informaci\u00F3 rep el receptor sobre el missatge transm\u00E8s, m\u00E9s disminueix l'entropia (incertesa) respecte aquest missatge, per ra\u00F3 d'aquest augment d'informaci\u00F3. La definici\u00F3 d'entropia de Shannon \u00E9s tal que com m\u00E9s redundant sigui la font, menys informaci\u00F3 cont\u00E9. En abs\u00E8ncia de restriccions particulars, l'entropia \u00E9s m\u00E0xima per a una font en la que tots els s\u00EDmbols s\u00F3n igualment probables (equiprobables). Donada una variable aleat\u00F2ria discreta , que pren valors en l'alfabet i segueix una certa distribuci\u00F3 : on denota la suma al llarg dels possibles valors de la variable aleat\u00F2ria. La tria de base per , el logaritme, varia en funci\u00F3 de l'apliaci\u00F3. Usant la base 2, s'obt\u00E9 l'entropia en bits (o en \"shannons\"), mentre que la base e d\u00F3na les \"unitats naturals\" nat, i la base 10 d\u00F3na unitats de \"dits\", \"bans\", o \"hartleys\". Una definici\u00F3 equivalent de l'entropia \u00E9s l'esperan\u00E7a de la auto-informaci\u00F3 d'una variable."@ca . . . . . . . . . . . . . . . . . . . . . "\u5728\u4FE1\u606F\u8BBA\u4E2D\uFF0C\u71B5\uFF08\u82F1\u8A9E\uFF1Aentropy\uFF09\u662F\u63A5\u6536\u7684\u6BCF\u6761\u6D88\u606F\u4E2D\u5305\u542B\u7684\u4FE1\u606F\u7684\u5E73\u5747\u91CF\uFF0C\u53C8\u88AB\u7A31\u70BA\u4FE1\u606F\u71B5\u3001\u4FE1\u6E90\u71B5\u3001\u5E73\u5747\u81EA\u4FE1\u606F\u91CF\u3002\u8FD9\u91CC\uFF0C\u201C\u6D88\u606F\u201D\u4EE3\u8868\u6765\u81EA\u5206\u5E03\u6216\u6570\u636E\u6D41\u4E2D\u7684\u4E8B\u4EF6\u3001\u6837\u672C\u6216\u7279\u5F81\u3002\uFF08\u71B5\u6700\u597D\u7406\u89E3\u4E3A\u4E0D\u786E\u5B9A\u6027\u7684\u91CF\u5EA6\u800C\u4E0D\u662F\u786E\u5B9A\u6027\u7684\u91CF\u5EA6\uFF0C\u56E0\u4E3A\u8D8A\u968F\u673A\u7684\u4FE1\u6E90\u7684\u71B5\u8D8A\u5927\u3002\uFF09\u6765\u81EA\u4FE1\u6E90\u7684\u53E6\u4E00\u4E2A\u7279\u5F81\u662F\u6837\u672C\u7684\u6982\u7387\u5206\u5E03\u3002\u8FD9\u91CC\u7684\u60F3\u6CD5\u662F\uFF0C\u6BD4\u8F83\u4E0D\u53EF\u80FD\u53D1\u751F\u7684\u4E8B\u60C5\uFF0C\u5F53\u5B83\u53D1\u751F\u4E86\uFF0C\u4F1A\u63D0\u4F9B\u66F4\u591A\u7684\u4FE1\u606F\u3002\u7531\u4E8E\u4E00\u4E9B\u5176\u4ED6\u7684\u539F\u56E0\uFF0C\u628A\u4FE1\u606F\uFF08\u71B5\uFF09\u5B9A\u4E49\u4E3A\u6982\u7387\u5206\u5E03\u7684\u5BF9\u6570\u7684\u76F8\u53CD\u6570\u662F\u6709\u9053\u7406\u7684\u3002\u4E8B\u4EF6\u7684\u6982\u7387\u5206\u5E03\u548C\u6BCF\u4E2A\u4E8B\u4EF6\u7684\u4FE1\u606F\u91CF\u6784\u6210\u4E86\u4E00\u4E2A\u968F\u673A\u53D8\u91CF\uFF0C\u8FD9\u4E2A\u968F\u673A\u53D8\u91CF\u7684\u5747\u503C\uFF08\u5373\u671F\u671B\uFF09\u5C31\u662F\u8FD9\u4E2A\u5206\u5E03\u4EA7\u751F\u7684\u4FE1\u606F\u91CF\u7684\u5E73\u5747\u503C\uFF08\u5373\u71B5\uFF09\u3002\u71B5\u7684\u5355\u4F4D\u901A\u5E38\u4E3A\u6BD4\u7279\uFF0C\u4F46\u4E5F\u7528Sh\u3001nat\u3001Hart\u8BA1\u91CF\uFF0C\u53D6\u51B3\u4E8E\u5B9A\u4E49\u7528\u5230\u5BF9\u6570\u7684\u5E95\u3002 \u91C7\u7528\u6982\u7387\u5206\u5E03\u7684\u5BF9\u6570\u4F5C\u4E3A\u4FE1\u606F\u7684\u91CF\u5EA6\u7684\u539F\u56E0\u662F\u5176\u53EF\u52A0\u6027\u3002\u4F8B\u5982\uFF0C\u6295\u63B7\u4E00\u6B21\u786C\u5E01\u63D0\u4F9B\u4E861 Sh\u7684\u4FE1\u606F\uFF0C\u800C\u63B7m\u6B21\u5C31\u4E3Am\u4F4D\u3002\u66F4\u4E00\u822C\u5730\uFF0C\u4F60\u9700\u8981\u7528log2(n)\u4F4D\u6765\u8868\u793A\u4E00\u4E2A\u53EF\u4EE5\u53D6n\u4E2A\u503C\u7684\u53D8\u91CF\u3002 \u57281948\u5E74\uFF0C\u514B\u52B3\u5FB7\u00B7\u827E\u5C14\u4F0D\u5FB7\u00B7\u9999\u519C\u5C07\u71B1\u529B\u5B78\u7684\u71B5\uFF0C\u5F15\u5165\u5230\u4FE1\u606F\u8BBA\uFF0C\u56E0\u6B64\u5B83\u53C8\u88AB\u7A31\u70BA\u9999\u519C\u71B5(Shannon entropy)\u3002"@zh . . . . . "\u0397 \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1 \u03C3\u03C4\u03B7 \u03B8\u03B5\u03C9\u03C1\u03AF\u03B1 \u03C0\u03BB\u03B7\u03C1\u03BF\u03C6\u03BF\u03C1\u03AF\u03B1\u03C2 \u03B5\u03AF\u03BD\u03B1\u03B9 \u03AD\u03BD\u03B1 \u00AB\u03BC\u03AD\u03C4\u03C1\u03BF \u03B1\u03B2\u03B5\u03B2\u03B1\u03B9\u03CC\u03C4\u03B7\u03C4\u03B1\u03C2\u00BB \u03C0\u03BF\u03C5 \u03B4\u03B9\u03B1\u03BA\u03B1\u03C4\u03AD\u03C7\u03B5\u03B9 \u03AD\u03BD\u03B1 \u03C3\u03CD\u03C3\u03C4\u03B7\u03BC\u03B1. \u039F \u03CC\u03C1\u03BF\u03C2 \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1 \u03C7\u03C1\u03B7\u03C3\u03B9\u03BC\u03BF\u03C0\u03BF\u03B9\u03AE\u03B8\u03B7\u03BA\u03B5 \u03B1\u03C1\u03C7\u03B9\u03BA\u03AC \u03C3\u03C4\u03B7 \u03B8\u03B5\u03C1\u03BC\u03BF\u03B4\u03C5\u03BD\u03B1\u03BC\u03B9\u03BA\u03AE (\u03B2\u03BB. \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1).\u03A3\u03C4\u03B7 \u03B8\u03B5\u03C9\u03C1\u03AF\u03B1 \u03C0\u03BB\u03B7\u03C1\u03BF\u03C6\u03BF\u03C1\u03AF\u03B1\u03C2 \u03B5\u03B9\u03C3\u03AE\u03C7\u03B8\u03B7 \u03B1\u03C0\u03CC \u03C4\u03BF\u03BD \u039A\u03BB\u03C9\u03BD\u03C4 \u03A3\u03AC\u03BD\u03BF\u03BD \u03C4\u03BF 1948 \u03BA\u03B1\u03B9 \u03B3\u03B9' \u03B1\u03C5\u03C4\u03CC \u03BF\u03BD\u03BF\u03BC\u03AC\u03B6\u03B5\u03C4\u03B1\u03B9 \u03BA\u03B1\u03B9 \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1 \u03C4\u03BF\u03C5 \u03A3\u03AC\u03BD\u03BD\u03BF\u03BD. \u0397 \u03C7\u03C1\u03AE\u03C3\u03B7 \u03C4\u03BF\u03C5 \u03AF\u03B4\u03B9\u03BF\u03C5 \u03CC\u03C1\u03BF\u03C5 \u03BC\u03B5 \u03C4\u03B7 \u03B8\u03B5\u03C1\u03BC\u03BF\u03B4\u03C5\u03BD\u03B1\u03BC\u03B9\u03BA\u03AE \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1, \u03C0\u03B1\u03C1\u03CC\u03C4\u03B9 \u03BC\u03C0\u03BF\u03C1\u03B5\u03AF \u03BD\u03B1 \u03C0\u03C1\u03BF\u03BA\u03B1\u03BB\u03AD\u03C3\u03B5\u03B9 \u03C3\u03CD\u03B3\u03C7\u03C5\u03C3\u03B7, \u03C5\u03B9\u03BF\u03B8\u03B5\u03C4\u03AE\u03B8\u03B7\u03BA\u03B5 \u03B1\u03C0\u03CC \u03C4\u03BF\u03BD \u03A3\u03AC\u03BD\u03BF\u03BD \u03BC\u03B5\u03C4\u03AC \u03BA\u03B1\u03B9 \u03B1\u03C0\u03CC \u03C0\u03B1\u03C1\u03CC\u03C4\u03C1\u03C5\u03BD\u03C3\u03B7 \u03B5\u03BD\u03CC\u03C2 \u03AC\u03BB\u03BB\u03BF\u03C5 \u03C3\u03C0\u03BF\u03C5\u03B4\u03B1\u03AF\u03BF\u03C5 \u03BC\u03B1\u03B8\u03B7\u03BC\u03B1\u03C4\u03B9\u03BA\u03BF\u03CD, \u03C4\u03BF\u03C5 \u03A4\u03B6\u03BF\u03BD \u03C6\u03BF\u03BD \u039D\u03CC\u03B9\u03BC\u03B1\u03BD, \u03BF \u03BF\u03C0\u03BF\u03AF\u03BF\u03C2 \u03C6\u03AD\u03C1\u03B5\u03C4\u03B1\u03B9 \u03CC\u03C4\u03B9 \u03B5\u03AF\u03C7\u03B5 \u03C0\u03B5\u03B9 \u03C3\u03C4\u03BF\u03BD \u03A3\u03AC\u03BD\u03BF\u03BD:"@el . . . "\u0397 \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1 \u03C3\u03C4\u03B7 \u03B8\u03B5\u03C9\u03C1\u03AF\u03B1 \u03C0\u03BB\u03B7\u03C1\u03BF\u03C6\u03BF\u03C1\u03AF\u03B1\u03C2 \u03B5\u03AF\u03BD\u03B1\u03B9 \u03AD\u03BD\u03B1 \u00AB\u03BC\u03AD\u03C4\u03C1\u03BF \u03B1\u03B2\u03B5\u03B2\u03B1\u03B9\u03CC\u03C4\u03B7\u03C4\u03B1\u03C2\u00BB \u03C0\u03BF\u03C5 \u03B4\u03B9\u03B1\u03BA\u03B1\u03C4\u03AD\u03C7\u03B5\u03B9 \u03AD\u03BD\u03B1 \u03C3\u03CD\u03C3\u03C4\u03B7\u03BC\u03B1. \u039F \u03CC\u03C1\u03BF\u03C2 \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1 \u03C7\u03C1\u03B7\u03C3\u03B9\u03BC\u03BF\u03C0\u03BF\u03B9\u03AE\u03B8\u03B7\u03BA\u03B5 \u03B1\u03C1\u03C7\u03B9\u03BA\u03AC \u03C3\u03C4\u03B7 \u03B8\u03B5\u03C1\u03BC\u03BF\u03B4\u03C5\u03BD\u03B1\u03BC\u03B9\u03BA\u03AE (\u03B2\u03BB. \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1).\u03A3\u03C4\u03B7 \u03B8\u03B5\u03C9\u03C1\u03AF\u03B1 \u03C0\u03BB\u03B7\u03C1\u03BF\u03C6\u03BF\u03C1\u03AF\u03B1\u03C2 \u03B5\u03B9\u03C3\u03AE\u03C7\u03B8\u03B7 \u03B1\u03C0\u03CC \u03C4\u03BF\u03BD \u039A\u03BB\u03C9\u03BD\u03C4 \u03A3\u03AC\u03BD\u03BF\u03BD \u03C4\u03BF 1948 \u03BA\u03B1\u03B9 \u03B3\u03B9' \u03B1\u03C5\u03C4\u03CC \u03BF\u03BD\u03BF\u03BC\u03AC\u03B6\u03B5\u03C4\u03B1\u03B9 \u03BA\u03B1\u03B9 \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1 \u03C4\u03BF\u03C5 \u03A3\u03AC\u03BD\u03BD\u03BF\u03BD. \u0397 \u03C7\u03C1\u03AE\u03C3\u03B7 \u03C4\u03BF\u03C5 \u03AF\u03B4\u03B9\u03BF\u03C5 \u03CC\u03C1\u03BF\u03C5 \u03BC\u03B5 \u03C4\u03B7 \u03B8\u03B5\u03C1\u03BC\u03BF\u03B4\u03C5\u03BD\u03B1\u03BC\u03B9\u03BA\u03AE \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1, \u03C0\u03B1\u03C1\u03CC\u03C4\u03B9 \u03BC\u03C0\u03BF\u03C1\u03B5\u03AF \u03BD\u03B1 \u03C0\u03C1\u03BF\u03BA\u03B1\u03BB\u03AD\u03C3\u03B5\u03B9 \u03C3\u03CD\u03B3\u03C7\u03C5\u03C3\u03B7, \u03C5\u03B9\u03BF\u03B8\u03B5\u03C4\u03AE\u03B8\u03B7\u03BA\u03B5 \u03B1\u03C0\u03CC \u03C4\u03BF\u03BD \u03A3\u03AC\u03BD\u03BF\u03BD \u03BC\u03B5\u03C4\u03AC \u03BA\u03B1\u03B9 \u03B1\u03C0\u03CC \u03C0\u03B1\u03C1\u03CC\u03C4\u03C1\u03C5\u03BD\u03C3\u03B7 \u03B5\u03BD\u03CC\u03C2 \u03AC\u03BB\u03BB\u03BF\u03C5 \u03C3\u03C0\u03BF\u03C5\u03B4\u03B1\u03AF\u03BF\u03C5 \u03BC\u03B1\u03B8\u03B7\u03BC\u03B1\u03C4\u03B9\u03BA\u03BF\u03CD, \u03C4\u03BF\u03C5 \u03A4\u03B6\u03BF\u03BD \u03C6\u03BF\u03BD \u039D\u03CC\u03B9\u03BC\u03B1\u03BD, \u03BF \u03BF\u03C0\u03BF\u03AF\u03BF\u03C2 \u03C6\u03AD\u03C1\u03B5\u03C4\u03B1\u03B9 \u03CC\u03C4\u03B9 \u03B5\u03AF\u03C7\u03B5 \u03C0\u03B5\u03B9 \u03C3\u03C4\u03BF\u03BD \u03A3\u03AC\u03BD\u03BF\u03BD: \u00AB\u03A0\u03C1\u03AD\u03C0\u03B5\u03B9 \u03BD\u03B1 \u03C4\u03BF \u03BF\u03BD\u03BF\u03BC\u03AC\u03C3\u03B5\u03B9\u03C2 \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1 \u03B3\u03B9\u03B1 \u03B4\u03CD\u03BF \u03BB\u03CC\u03B3\u03BF\u03C5\u03C2: \u03A0\u03C1\u03CE\u03C4\u03BF\u03BD, \u03B7 \u03C3\u03C5\u03BD\u03AC\u03C1\u03C4\u03B7\u03C3\u03B7 \u03B1\u03C5\u03C4\u03AE \u03C7\u03C1\u03B7\u03C3\u03B9\u03BC\u03BF\u03C0\u03BF\u03B9\u03B5\u03AF\u03C4\u03B1\u03B9 \u03AE\u03B4\u03B7 \u03C3\u03C4\u03B7 \u03B8\u03B5\u03C1\u03BC\u03BF\u03B4\u03C5\u03BD\u03B1\u03BC\u03B9\u03BA\u03AE \u03BC\u03B5 \u03C4\u03BF \u03AF\u03B4\u03B9\u03BF \u03CC\u03BD\u03BF\u03BC\u03B1. \u0394\u03B5\u03CD\u03C4\u03B5\u03C1\u03BF, \u03BA\u03B1\u03B9 \u03C3\u03B7\u03BC\u03B1\u03BD\u03C4\u03B9\u03BA\u03CC\u03C4\u03B5\u03C1\u03BF, \u03BF \u03C0\u03B5\u03C1\u03B9\u03C3\u03C3\u03CC\u03C4\u03B5\u03C1\u03BF\u03C2 \u03BA\u03CC\u03C3\u03BC\u03BF\u03C2 \u03B4\u03B5\u03BD \u03B3\u03BD\u03C9\u03C1\u03AF\u03B6\u03B5\u03B9 \u03C4\u03B9 \u03C0\u03C1\u03B1\u03B3\u03BC\u03B1\u03C4\u03B9\u03BA\u03AC \u03B5\u03AF\u03BD\u03B1\u03B9 \u03B7 \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1, \u03BA\u03B1\u03B9 \u03B1\u03BD \u03C7\u03C1\u03B7\u03C3\u03B9\u03BC\u03BF\u03C0\u03BF\u03B9\u03B5\u03AF\u03C2 \u03C4\u03BF\u03BD \u03CC\u03C1\u03BF \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1 \u03C3\u03B5 \u03AD\u03BD\u03B1 \u03B1\u03BD\u03C4\u03B5\u03C0\u03B9\u03C7\u03B5\u03AF\u03C1\u03B7\u03BC\u03B1 \u03B8\u03B1 \u03BA\u03B5\u03C1\u03B4\u03AF\u03B6\u03B5\u03B9\u03C2 \u03C0\u03AC\u03BD\u03C4\u03B1\u00BB. \u0397 \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1 \u03C4\u03B7\u03C2 \u03B8\u03B5\u03C1\u03BC\u03BF\u03B4\u03C5\u03BD\u03B1\u03BC\u03B9\u03BA\u03AE\u03C2 \u03BC\u03C0\u03BF\u03C1\u03B5\u03AF \u03BD\u03B1 \u03B1\u03BD\u03C4\u03B9\u03C3\u03C4\u03BF\u03B9\u03C7\u03B9\u03C3\u03C4\u03B5\u03AF \u03BC\u03B5 \u03C4\u03B7\u03BD \u03B5\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1 \u03C3\u03C4\u03B7 \u03B8\u03B5\u03C9\u03C1\u03AF\u03B1 \u03C0\u03BB\u03B7\u03C1\u03BF\u03C6\u03BF\u03C1\u03AF\u03B1\u03C2."@el . . "Entropie is een maat voor de onzekerheid (of onwetendheid) bij het waarnemen van een reeks gebeurtenissen. Nieuwe informatie ontstaat als een gebeurtenis plaatsvindt waarvan vooraf onzeker was of deze daadwerkelijk zou gebeuren. In de informatietheorie wordt dit inzicht verder wiskundig uitgewerkt. De verwachte (vaak gemiddelde genoemd) hoeveelheid informatie bij een nog plaats te vinden gebeurtenis of een nog uit te voeren (kans)experiment, is gedefinieerd als de verwachtingswaarde van de hoeveelheid zelfinformatie die deze gebeurtenis zal opleveren."@nl . . . . . . . "\u0627\u0639\u062A\u0644\u0627\u062C (\u0646\u0638\u0631\u064A\u0629 \u0627\u0644\u0645\u0639\u0644\u0648\u0645\u0627\u062A)"@ar . . . . "\u0418\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u043E\u0301\u043D\u043D\u0430\u044F \u044D\u043D\u0442\u0440\u043E\u043F\u0438\u0301\u044F \u2014 \u043C\u0435\u0440\u0430 \u043D\u0435\u043E\u043F\u0440\u0435\u0434\u0435\u043B\u0451\u043D\u043D\u043E\u0441\u0442\u0438 \u043D\u0435\u043A\u043E\u0442\u043E\u0440\u043E\u0439 \u0441\u0438\u0441\u0442\u0435\u043C\u044B (\u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043A\u043E\u0439 \u0444\u0438\u0437\u0438\u043A\u0435 \u0438\u043B\u0438 \u0442\u0435\u043E\u0440\u0438\u0438 \u0438\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u0438), \u0432 \u0447\u0430\u0441\u0442\u043D\u043E\u0441\u0442\u0438, \u043D\u0435\u043F\u0440\u0435\u0434\u0441\u043A\u0430\u0437\u0443\u0435\u043C\u043E\u0441\u0442\u044C \u043F\u043E\u044F\u0432\u043B\u0435\u043D\u0438\u044F \u043A\u0430\u043A\u043E\u0433\u043E-\u043B\u0438\u0431\u043E \u0441\u0438\u043C\u0432\u043E\u043B\u0430 \u043F\u0435\u0440\u0432\u0438\u0447\u043D\u043E\u0433\u043E \u0430\u043B\u0444\u0430\u0432\u0438\u0442\u0430. \u0412 \u043F\u043E\u0441\u043B\u0435\u0434\u043D\u0435\u043C \u0441\u043B\u0443\u0447\u0430\u0435 \u043F\u0440\u0438 \u043E\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0438 \u0438\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u043E\u043D\u043D\u044B\u0445 \u043F\u043E\u0442\u0435\u0440\u044C \u044D\u043D\u0442\u0440\u043E\u043F\u0438\u044F \u0447\u0438\u0441\u043B\u0435\u043D\u043D\u043E \u0440\u0430\u0432\u043D\u0430 \u043A\u043E\u043B\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0438\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u0438 \u043D\u0430 \u0441\u0438\u043C\u0432\u043E\u043B \u043F\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0435\u043C\u043E\u0433\u043E \u0441\u043E\u043E\u0431\u0449\u0435\u043D\u0438\u044F."@ru . . . . . . . "Entropia da informa\u00E7\u00E3o"@pt . "Entropia de Shannon"@ca . . . . . "\uC815\uBCF4 \uC5D4\uD2B8\uB85C\uD53C"@ko . . "Entropy (information theory)"@en . . . . . . . . . . . . . . . . "Entropie (nach dem Kunstwort \u1F10\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1) ist in der Informationstheorie ein Ma\u00DF, welches f\u00FCr eine Nachrichtenquelle den mittleren Informationsgehalt ausgegebener Nachrichten angibt. Der Begriff ist eng verwandt mit der Entropie in der Thermodynamik und statistischen Mechanik. Das informationstheoretische Verst\u00E4ndnis des Begriffes Entropie geht auf Claude E. Shannon zur\u00FCck und existiert seit etwa 1948. In diesem Jahr ver\u00F6ffentlichte Shannon seine fundamentale Arbeit A Mathematical Theory of Communication und pr\u00E4gte damit die moderne Informationstheorie. Die Entropie wird \u00FCblicherweise mit einem gro\u00DFen Eta bezeichnet."@de . . . . . . . "L'entropie de Shannon, due \u00E0 Claude Shannon, est une fonction math\u00E9matique qui, intuitivement, correspond \u00E0 la quantit\u00E9 d'information contenue ou d\u00E9livr\u00E9e par une source d'information. Cette source peut \u00EAtre un texte \u00E9crit dans une langue donn\u00E9e, un signal \u00E9lectrique ou encore un fichier informatique quelconque (collection d'octets). Du point de vue d'un r\u00E9cepteur, plus la source \u00E9met d'informations diff\u00E9rentes, plus l'entropie (ou incertitude sur ce que la source \u00E9met) est grande. Ainsi, si une source envoie toujours le m\u00EAme symbole, par exemple la lettre 'a', alors son entropie est nulle, c'est-\u00E0-dire minimale. En effet, un r\u00E9cepteur qui conna\u00EEt seulement les statistiques de transmission de la source est assur\u00E9 que le prochain symbole sera un 'a'. Par contre, si la source envoie un 'a' la moiti\u00E9 du temps et un 'b' l'autre moiti\u00E9, le r\u00E9cepteur est incertain de la prochaine lettre \u00E0 recevoir. L'entropie de la source dans ce cas est donc non nulle (positive) et repr\u00E9sente quantitativement l'incertitude qui r\u00E8gne sur l'information \u00E9manant de la source. L'entropie indique alors la quantit\u00E9 d'information n\u00E9cessaire pour que le r\u00E9cepteur puisse d\u00E9terminer sans ambigu\u00EFt\u00E9 ce que la source a transmis. Plus le r\u00E9cepteur re\u00E7oit d'information sur le message transmis, plus l'entropie (incertitude) vis-\u00E0-vis de ce message cro\u00EEt. En particulier, plus la source est redondante, moins elle contient d'information. En l'absence de contraintes particuli\u00E8res, l'entropie est maximale pour une source dont tous les symboles sont \u00E9quiprobables."@fr . . "Entropia (teoria dell'informazione)"@it . . . . . . . . . . . . . "Entropi (teori informasi)"@in . . . . . . . . . . . . "Entropia (informazio-teoria)"@eu . . . . . . . . "\u0418\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u043E\u043D\u043D\u0430\u044F \u044D\u043D\u0442\u0440\u043E\u043F\u0438\u044F"@ru . "Entropie is een maat voor de onzekerheid (of onwetendheid) bij het waarnemen van een reeks gebeurtenissen. Nieuwe informatie ontstaat als een gebeurtenis plaatsvindt waarvan vooraf onzeker was of deze daadwerkelijk zou gebeuren. In de informatietheorie wordt dit inzicht verder wiskundig uitgewerkt. De verwachte (vaak gemiddelde genoemd) hoeveelheid informatie bij een nog plaats te vinden gebeurtenis of een nog uit te voeren (kans)experiment, is gedefinieerd als de verwachtingswaarde van de hoeveelheid zelfinformatie die deze gebeurtenis zal opleveren. Bij een entropie 0 is er geen onzekerheid: men heeft volledige kennis over wat er komen gaat en deze informatie bevat dus ook geen \"nieuws\". Bij een maximale onzekerheid (bv. bij een getoonde willekeurige symbolenreeks) is de entropie gelijk aan (met de lengte van de reeks): elke gebeurtenis is onverwacht en dus nieuw. Bedacht dient te worden dat entropie een subjectief emergent oordeel vooronderstelt over de betekenis van de reeks gebeurtenissen: iemand die geen betekenis kan hechten aan de reeks gebeurtenissen (bv. een analfabeet die een tekst van tekens ziet passeren) zal een entropie aan deze reeks toekennen. Ook kunnen twee waarnemers die verschillen in kennisniveau/onwetendheid, een verschillende entropie toekennen aan dezelfde reeks gebeurtenissen."@nl . . . . . . . . . "En el \u00E1mbito de la teor\u00EDa de la informaci\u00F3n la entrop\u00EDa, tambi\u00E9n llamada entrop\u00EDa de la informaci\u00F3n y entrop\u00EDa de Shannon (en honor a Claude E. Shannon), mide la incertidumbre de una fuente de informaci\u00F3n. La entrop\u00EDa tambi\u00E9n se puede considerar como la cantidad de informaci\u00F3n promedio que contienen los s\u00EDmbolos usados. Los s\u00EDmbolos con menor probabilidad son los que aportan mayor informaci\u00F3n; por ejemplo, si se considera como sistema de s\u00EDmbolos a las palabras en un texto, palabras frecuentes como \u00ABque\u00BB, \u00ABel\u00BB, \u00ABa\u00BB aportan poca informaci\u00F3n, mientras que palabras menos frecuentes como \u00ABcorren\u00BB, \u00ABni\u00F1o\u00BB, \u00ABperro\u00BB aportan m\u00E1s informaci\u00F3n. Si de un texto dado borramos un \u00ABque\u00BB, seguramente no afectar\u00E1 a la comprensi\u00F3n y se sobreentender\u00E1, no siendo as\u00ED si borramos la palabra \u00ABni\u00F1o\u00BB del mismo texto original. Cuando todos los s\u00EDmbolos son igualmente probables (distribuci\u00F3n de probabilidad plana), todos aportan informaci\u00F3n relevante y la entrop\u00EDa es m\u00E1xima. El concepto de entrop\u00EDa es usado en termodin\u00E1mica, mec\u00E1nica estad\u00EDstica, teor\u00EDa de la informaci\u00F3n y seguridad entr\u00F3pica. En todos los casos la entrop\u00EDa se concibe como una \u00ABmedida del desorden\u00BB o la \u00ABpeculiaridad de ciertas combinaciones\u00BB. La entrop\u00EDa puede ser considerada como una medida de la incertidumbre y de la informaci\u00F3n necesaria para, en cualquier proceso, poder acotar, reducir o eliminar la incertidumbre. Resulta que el concepto de informaci\u00F3n y el de entrop\u00EDa est\u00E1n b\u00E1sicamente relacionados entre s\u00ED, aunque se necesitaron a\u00F1os de desarrollo de la mec\u00E1nica estad\u00EDstica y de la teor\u00EDa de la informaci\u00F3n antes de que esto fuera percibido."@es . "L'entropia de Shannon, (formulada per Claude Shannon) \u00E9s una funci\u00F3 matem\u00E0tica que intu\u00EFtivament es correspon amb la quantitat d'informaci\u00F3 continguda o lliurada per una font d'informaci\u00F3. Aquesta font pot ser un text escrit en un idioma determinat, un senyal el\u00E8ctric, un fitxer d'ordinador o qualsevol (col\u00B7lecci\u00F3 de bytes). Des del punt de vista d'un receptor, com m\u00E9s informaci\u00F3 diferent emet la font, m\u00E9s gran \u00E9s l'entropia (o incertesa sobre el que emet la font), i viceversa. Com m\u00E9s informaci\u00F3 rep el receptor sobre el missatge transm\u00E8s, m\u00E9s disminueix l'entropia (incertesa) respecte aquest missatge, per ra\u00F3 d'aquest augment d'informaci\u00F3. La definici\u00F3 d'entropia de Shannon \u00E9s tal que com m\u00E9s redundant sigui la font, menys informaci\u00F3 cont\u00E9. En abs\u00E8ncia de restriccions particulars, l'entro"@ca . "1120177669"^^ . . . . . . . "Entropia (teoria informacji)"@pl . "\u60C5\u5831\u91CF\uFF08\u3058\u3087\u3046\u307B\u3046\u308A\u3087\u3046\uFF09\u3084\u30A8\u30F3\u30C8\u30ED\u30D4\u30FC\uFF08\u82F1: entropy\uFF09\u306F\u3001\u60C5\u5831\u7406\u8AD6\u306E\u6982\u5FF5\u3067\u3001\u3042\u308B\u3067\u304D\u3054\u3068\uFF08\u4E8B\u8C61\uFF09\u304C\u8D77\u304D\u305F\u969B\u3001\u305D\u308C\u304C\u3069\u308C\u307B\u3069\u8D77\u3053\u308A\u306B\u304F\u3044\u304B\u3092\u8868\u3059\u5C3A\u5EA6\u3067\u3042\u308B\u3002\u3042\u308A\u3075\u308C\u305F\u3067\u304D\u3054\u3068\uFF08\u305F\u3068\u3048\u3070\u300C\u98A8\u306E\u97F3\u300D\uFF09\u304C\u8D77\u3053\u3063\u305F\u3053\u3068\u3092\u77E5\u3063\u3066\u3082\u305D\u308C\u306F\u305F\u3044\u3057\u305F\u300C\u60C5\u5831\u300D\u306B\u306F\u306A\u3089\u306A\u3044\u304C\u3001\u9006\u306B\u73CD\u3057\u3044\u3067\u304D\u3054\u3068\uFF08\u305F\u3068\u3048\u3070\u300C\u66F2\u306E\u6F14\u594F\u300D\uFF09\u304C\u8D77\u3053\u308C\u3070\u3001\u305D\u308C\u306F\u3088\u308A\u591A\u304F\u306E\u300C\u60C5\u5831\u300D\u3092\u542B\u3093\u3067\u3044\u308B\u3068\u8003\u3048\u3089\u308C\u308B\u3002\u60C5\u5831\u91CF\u306F\u305D\u306E\u3067\u304D\u3054\u3068\u304C\u672C\u8CEA\u7684\u306B\u3069\u306E\u7A0B\u5EA6\u306E\u60C5\u5831\u3092\u6301\u3064\u304B\u306E\u5C3A\u5EA6\u3067\u3042\u308B\u3068\u307F\u306A\u3059\u3053\u3068\u3082\u3067\u304D\u308B\u3002 \u306A\u304A\u3053\u3053\u3067\u3044\u3046\u300C\u60C5\u5831\u300D\u3068\u306F\u3001\u3042\u304F\u307E\u3067\u305D\u306E\u3067\u304D\u3054\u3068\u306E\u8D77\u3053\u308A\u306B\u304F\u3055\uFF08\u78BA\u7387\uFF09\u3060\u3051\u306B\u3088\u3063\u3066\u6C7A\u307E\u308B\u6570\u5B66\u7684\u306A\u91CF\u3067\u3057\u304B\u306A\u304F\u3001\u500B\u4EBA\u30FB\u793E\u4F1A\u306B\u304A\u3051\u308B\u6709\u7528\u6027\u3068\u306F\u7121\u95A2\u4FC2\u3067\u3042\u308B\u3002\u305F\u3068\u3048\u3070\u300C\u81EA\u5206\u304C\u5B9D\u304F\u3058\u306B\u5F53\u305F\u3063\u305F\u300D\u3068\u300C\u898B\u77E5\u3089\u306CA\u3055\u3093\u304C\u5B9D\u304F\u3058\u306B\u5F53\u305F\u3063\u305F\u300D\u306F\u3001\u524D\u8005\u306E\u65B9\u304C\u6709\u7528\u306A\u60C5\u5831\u306B\u898B\u3048\u308B\u304C\u3001\u4E21\u8005\u306E\u60C5\u5831\u91CF\u306F\u5168\u304F\u540C\u3058\u3067\u3042\u308B\uFF08\u5B9D\u304F\u3058\u304C\u5F53\u305F\u308B\u78BA\u7387\u306F\u6240\u4E0E\u6761\u4EF6\u4E00\u5B9A\u306E\u3082\u3068\u3067\u306F\u8AB0\u3067\u3082\u540C\u3058\u3067\u3042\u308B\u305F\u3081\uFF09\u3002"@ja . "Informa\u010Dn\u00ED entropie"@cs . "Informa\u010Dn\u00ED nebo t\u00E9\u017E shannonovsk\u00E1 entropie je st\u0159edn\u00ED hodnota mno\u017Estv\u00ED informace p\u0159ipadaj\u00EDc\u00ED na jeden symbol generovan\u00FD stochastick\u00FDm zdrojem dat. M\u00EDra informa\u010Dn\u00ED entropie p\u0159i\u0159azen\u00E1 ke ka\u017Ed\u00E9 mo\u017En\u00E9 datov\u00E9 hodnot\u011B je z\u00E1porn\u00FDm logaritmem pravd\u011Bpodobnostn\u00ED funkce dan\u00E9 hodnoty: kde je st\u0159edn\u00ED hodnota definovan\u00E1 pravd\u011Bpodobnost\u00ED . Entropie obecn\u011B vyjad\u0159uje neuspo\u0159\u00E1danost nebo nejistotu, a definice entropie pou\u017E\u00EDvan\u00E1 v teorii informace je p\u0159\u00EDmou analogi\u00ED entropie pou\u017E\u00EDvan\u00E9 ve statistick\u00E9 termodynamice. Koncept informa\u010Dn\u00ED entropie p\u0159edstavil Claude Shannon v roce 1948 ve sv\u00E9m \u010Dl\u00E1nku \u201E\"."@cs . . . "Entropia, quando relacionada \u00E0 termodin\u00E2mica, \u00E9 a medida do grau de irreversibilidade de um determinado sistema. Ent\u00E3o, quanto menor a chance do sistema voltar ao seu estado original, maior ser\u00E1 o grau de entropia. \u00C9 considerada por Einstein como a primeira lei de todas a ci\u00EAncias. Para a \u00E1rea de Teoria da Informa\u00E7\u00E3o, a entropia \u00E9 definida como sendo uma forma de medir o grau m\u00E9dio de incerteza a respeito de fontes de informa\u00E7\u00E3o, o que consequentemente permite a quantifica\u00E7\u00E3o da informa\u00E7\u00E3o presente que flui no sistema. Em termos simples, o conceito de entropia se associa \u00E0 ideia de que, quanto mais incerto \u00E9 o resultado de um experimento aleat\u00F3rio, maior \u00E9 a informa\u00E7\u00E3o que se obt\u00E9m ao observar a sua ocorr\u00EAncia."@pt . . . . . . . . "alorrean entropiak, informazio-entropia eta Shannonen entropia (Claude E. Shannon-en omenez) izenez ere ezagutua, informazio iturri baten ziurgabetasuna neurtzen du. Entropia kontzeptua termodinamikan, mekanika estatistikoan eta erabiltzen da. Kasu guztietan entropia \u00ABdesordenaren neurri\u00BB edo \u00ABkonbinazio jakin batzuen berezitasun\u00BB moduan ulertzen da. Ziurgabetasunaren neurri bat dela edo edozein prozesutan ziurgabetasun hori mugatzeko, murrizteko edo ezabatzeko behar den informazioa dela uler daiteke. Kontua da, informazioaren eta entropiaren kontzeptuek oso harreman estua dutela, nahiz eta hortaz konturatzeko mekanika estatistikoaren eta informazio-teoriaren arloetan lan handia egin behar izan zen."@eu . . . . . . . . . . "Entropia \u2013 \u015Brednia ilo\u015B\u0107 informacji, przypadaj\u0105ca na pojedyncz\u0105 wiadomo\u015B\u0107 ze \u017Ar\u00F3d\u0142a informacji. Innymi s\u0142owy jest to \u015Brednia wa\u017Cona ilo\u015Bci informacji niesionej przez pojedyncz\u0105 wiadomo\u015B\u0107, gdzie wagami s\u0105 prawdopodobie\u0144stwa nadania poszczeg\u00F3lnych wiadomo\u015Bci. Wz\u00F3r na entropi\u0119 zmiennej losowej o zbiorze warto\u015Bci : gdzie to prawdopodobie\u0144stwo zaj\u015Bcia zdarzenia a to podstawa logarytmu. W teorii informacji najcz\u0119\u015Bciej stosuje si\u0119 logarytm o podstawie 2, w\u00F3wczas jednostk\u0105 entropii jest bit. Dla jednostka ta nazywa si\u0119 nat (nit), natomiast dla \u2013 dit lub hartley. W przypadku gdy dla pewnego warto\u015B\u0107 sk\u0142adnika jest przyjmowana jako 0, co jest zgodne z granic\u0105: W latach 60. XX wieku w\u0119gierski matematyk Alfred R\u00E9nyi uog\u00F3lni\u0142 poj\u0119cie entropii do zbioru funkcji za pomoc\u0105 kt\u00F3rych mo\u017Cna opisa\u0107 ilo\u015Bciowo r\u00F3\u017Cnorodno\u015B\u0107, niepewno\u015B\u0107 czy losowo\u015B\u0107 systemu. Miara ta od jego nazwiska nazywana jest . Entropi\u0119 mo\u017Cna interpretowa\u0107 jako niepewno\u015B\u0107 wyst\u0105pienia danego zdarzenia elementarnego w nast\u0119pnej chwili. Je\u017Celi jakie\u015B zdarzenie w zbiorze zdarze\u0144 wyst\u0119puje z prawdopodobie\u0144stwem r\u00F3wnym 1, to entropia uk\u0142adu wynosi w\u00F3wczas 0, gdy\u017C z g\u00F3ry wiadomo, co si\u0119 stanie \u2013 nie ma niepewno\u015Bci. W\u0142asno\u015Bci entropii: \n* jest nieujemna; \n* jest maksymalna, gdy prawdopodobie\u0144stwa zaj\u015B\u0107 zdarze\u0144 s\u0105 takie same (maksymalna niepewno\u015B\u0107); \n* jest r\u00F3wna 0, gdy prawdopodobie\u0144stwa stan\u00F3w systemu poza jednym wynosz\u0105 0, a jednego stanu - 1 (maksymalna pewno\u015B\u0107); \n* w\u0142asno\u015B\u0107 superpozycji \u2013 gdy dwa systemy s\u0105 niezale\u017Cne, to entropia sumy system\u00F3w r\u00F3wna si\u0119 sumie entropii; \n* je\u015Bli ze \u017Ar\u00F3d\u0142a danych pobierane s\u0105 k-literowe ci\u0105gi, w\u00F3wczas entropia wynosi Definicja informacyjna by\u0142a pierwotnie pr\u00F3b\u0105 uj\u0119cia tradycyjnego poj\u0119cia entropii znanego z termodynamiki w kategoriach teorii informacji. Okaza\u0142o si\u0119 jednak, \u017Ce definicja ta jest przydatna w ramach samej teorii informacji. Poj\u0119cie entropii jest bardzo przydatne np. w dziedzinie kompresji danych. Entropi\u0119 zerowego rz\u0119du mo\u017Cna obliczy\u0107 znaj\u0105c histogram ci\u0105gu symboli. Jest to iloczyn entropii i liczby znak\u00F3w w ci\u0105gu. Osi\u0105gi kodowania Huffmana s\u0105 cz\u0119sto zbli\u017Cone do tej granicy, jednak lepsz\u0105 efektywno\u015Bci\u0105 charakteryzuje si\u0119 kodowanie arytmetyczne. Przyj\u0119cie modelu, w kt\u00F3rym uwzgl\u0119dnia si\u0119 kontekst znaku, pozwala zwykle na bardzo du\u017Ce obni\u017Cenie entropii."@pl . . . . . . . "Entropie (nach dem Kunstwort \u1F10\u03BD\u03C4\u03C1\u03BF\u03C0\u03AF\u03B1) ist in der Informationstheorie ein Ma\u00DF, welches f\u00FCr eine Nachrichtenquelle den mittleren Informationsgehalt ausgegebener Nachrichten angibt. Der Begriff ist eng verwandt mit der Entropie in der Thermodynamik und statistischen Mechanik. Das informationstheoretische Verst\u00E4ndnis des Begriffes Entropie geht auf Claude E. Shannon zur\u00FCck und existiert seit etwa 1948. In diesem Jahr ver\u00F6ffentlichte Shannon seine fundamentale Arbeit A Mathematical Theory of Communication und pr\u00E4gte damit die moderne Informationstheorie."@de . . . "Entropi (informationsteori)"@sv . . . . "\uC815\uBCF4 \uC774\uB860\uC5D0\uC11C \uC2DC\uC2A4\uD15C\uC740 \uC1A1\uC2E0\uC790, \uCC44\uB110, \uC218\uC2E0\uC790\uB97C \uC774\uC6A9\uD558\uC5EC \uBAA8\uD615\uD654\uD55C\uB2E4. \uC1A1\uC2E0\uC790\uB294 \uCC44\uB110\uC744 \uD1B5\uD574 \uC804\uB2EC\uB418\uB294 \uBA54\uC2DC\uC9C0\uB97C \uB9CC\uB4E4\uC5B4\uB0B8\uB2E4. \uCC44\uB110\uC740 \uD2B9\uC815\uD55C \uBC29\uC2DD\uC744 \uD1B5\uD574 \uBA54\uC2DC\uC9C0\uB97C \uBCC0\uACBD\uD55C\uB2E4. \uC218\uC2E0\uC790\uB294 \uC5B4\uB5A4 \uBA54\uC2DC\uC9C0\uAC00 \uBCF4\uB0B4\uC9C4 \uAC83\uC778\uC9C0 \uCD94\uB860\uD558\uACE0\uC790 \uD55C\uB2E4. \uC774 \uB9E5\uB77D\uC5D0\uC11C \uC815\uBCF4 \uC5D4\uD2B8\uB85C\uD53C(\uB610\uB294 \uC100\uB10C \uC5D4\uD2B8\uB85C\uD53C)\uB294 \uAC01 \uBA54\uC2DC\uC9C0\uC5D0 \uD3EC\uD568\uB41C \uC815\uBCF4\uC758 \uAE30\uB313\uAC12(\uD3C9\uADE0)\uC774\uB2E4. '\uBA54\uC2DC\uC9C0'\uB294 \uC5B4\uB5A4 \uD750\uB984\uC758 \uC815\uBCF4\uC5D0 \uB300\uD574\uC11C\uB3C4 \uBAA8\uD615\uD654\uD560 \uC218 \uC788\uB2E4. \uAE30\uC220\uC801\uC778 \uAD00\uC810\uC5D0\uC11C \uBCF4\uBA74 \uC815\uBCF4\uB294 \uBC1C\uC0DD \uAC00\uB2A5\uD55C \uC0AC\uAC74\uC774\uB098 \uBA54\uC2DC\uC9C0\uC758 \uD655\uB960\uBD84\uD3EC\uC758 \uC74C\uC758 \uB85C\uADF8\uB85C \uC815\uC758\uD560 \uC218 \uC788\uB2E4. \uAC01 \uC0AC\uAC74\uC758 \uC815\uBCF4\uB7C9\uC740 \uADF8 \uAE30\uB313\uAC12, \uB610\uB294 \uD3C9\uADE0\uC774 \uC100\uB10C \uC5D4\uD2B8\uB85C\uD53C\uC778 \uD655\uB960\uBCC0\uC218\uB97C \uD615\uC131\uD55C\uB2E4. \uC5D4\uD2B8\uB85C\uD53C\uC758 \uB2E8\uC704\uB294 \uC815\uC758\uC5D0 \uC0AC\uC6A9\uB41C \uB85C\uADF8\uC758 \uBC11\uC774 \uBB34\uC5C7\uC778\uC9C0\uC5D0 \uB530\uB77C \uC100\uB10C(shannon), \uB0B4\uD2B8(nat) \uB610\uB294 \uD558\uD2C0\uB9AC(hartley)\uB97C \uC0AC\uC6A9\uD55C\uB2E4. \uB2E8, \uC100\uB10C\uC758 \uACBD\uC6B0 \uBCF4\uD1B5 \uBE44\uD2B8(bit)\uB85C \uD45C\uD604\uD55C\uB2E4."@ko . . . . "\uC815\uBCF4 \uC774\uB860\uC5D0\uC11C \uC2DC\uC2A4\uD15C\uC740 \uC1A1\uC2E0\uC790, \uCC44\uB110, \uC218\uC2E0\uC790\uB97C \uC774\uC6A9\uD558\uC5EC \uBAA8\uD615\uD654\uD55C\uB2E4. \uC1A1\uC2E0\uC790\uB294 \uCC44\uB110\uC744 \uD1B5\uD574 \uC804\uB2EC\uB418\uB294 \uBA54\uC2DC\uC9C0\uB97C \uB9CC\uB4E4\uC5B4\uB0B8\uB2E4. \uCC44\uB110\uC740 \uD2B9\uC815\uD55C \uBC29\uC2DD\uC744 \uD1B5\uD574 \uBA54\uC2DC\uC9C0\uB97C \uBCC0\uACBD\uD55C\uB2E4. \uC218\uC2E0\uC790\uB294 \uC5B4\uB5A4 \uBA54\uC2DC\uC9C0\uAC00 \uBCF4\uB0B4\uC9C4 \uAC83\uC778\uC9C0 \uCD94\uB860\uD558\uACE0\uC790 \uD55C\uB2E4. \uC774 \uB9E5\uB77D\uC5D0\uC11C \uC815\uBCF4 \uC5D4\uD2B8\uB85C\uD53C(\uB610\uB294 \uC100\uB10C \uC5D4\uD2B8\uB85C\uD53C)\uB294 \uAC01 \uBA54\uC2DC\uC9C0\uC5D0 \uD3EC\uD568\uB41C \uC815\uBCF4\uC758 \uAE30\uB313\uAC12(\uD3C9\uADE0)\uC774\uB2E4. '\uBA54\uC2DC\uC9C0'\uB294 \uC5B4\uB5A4 \uD750\uB984\uC758 \uC815\uBCF4\uC5D0 \uB300\uD574\uC11C\uB3C4 \uBAA8\uD615\uD654\uD560 \uC218 \uC788\uB2E4. \uAE30\uC220\uC801\uC778 \uAD00\uC810\uC5D0\uC11C \uBCF4\uBA74 \uC815\uBCF4\uB294 \uBC1C\uC0DD \uAC00\uB2A5\uD55C \uC0AC\uAC74\uC774\uB098 \uBA54\uC2DC\uC9C0\uC758 \uD655\uB960\uBD84\uD3EC\uC758 \uC74C\uC758 \uB85C\uADF8\uB85C \uC815\uC758\uD560 \uC218 \uC788\uB2E4. \uAC01 \uC0AC\uAC74\uC758 \uC815\uBCF4\uB7C9\uC740 \uADF8 \uAE30\uB313\uAC12, \uB610\uB294 \uD3C9\uADE0\uC774 \uC100\uB10C \uC5D4\uD2B8\uB85C\uD53C\uC778 \uD655\uB960\uBCC0\uC218\uB97C \uD615\uC131\uD55C\uB2E4. \uC5D4\uD2B8\uB85C\uD53C\uC758 \uB2E8\uC704\uB294 \uC815\uC758\uC5D0 \uC0AC\uC6A9\uB41C \uB85C\uADF8\uC758 \uBC11\uC774 \uBB34\uC5C7\uC778\uC9C0\uC5D0 \uB530\uB77C \uC100\uB10C(shannon), \uB0B4\uD2B8(nat) \uB610\uB294 \uD558\uD2C0\uB9AC(hartley)\uB97C \uC0AC\uC6A9\uD55C\uB2E4. \uB2E8, \uC100\uB10C\uC758 \uACBD\uC6B0 \uBCF4\uD1B5 \uBE44\uD2B8(bit)\uB85C \uD45C\uD604\uD55C\uB2E4. \uD655\uB960\uBD84\uD3EC\uC758 \uB85C\uADF8\uB294 \uC5D4\uD2B8\uB85C\uD53C\uC758 \uB2E8\uC704\uB85C \uC0AC\uC6A9\uD558\uAE30\uC5D0 \uB9E4\uC6B0 \uC720\uC6A9\uD55C\uB370 \uC774\uB294 \uB3C5\uB9BD\uC801\uC778 \uC18C\uC2A4(source)\uB4E4\uC5D0 \uB300\uD574 \uADF8 \uAC12\uC744 \uB354\uD560 \uC218 \uC788\uAE30 \uB54C\uBB38\uC774\uB2E4. \uC608\uB97C \uB4E4\uC5B4 \uB3D9\uC804\uC744 1\uAC1C \uB358\uC9C0\uBA74 \uC5D4\uD2B8\uB85C\uD53C\uB294 1 \uC100\uB10C\uC774\uACE0, m \uAC1C\uC758 \uB3D9\uC804\uC744 \uB358\uC9C8 \uB54C\uB294 m \uC100\uB10C\uC774\uB2E4. n \uC774 2\uC758 \uAC70\uB4ED\uC81C\uACF1\uC77C \uB54C, \uC77C\uBC18\uC801\uC73C\uB85C n \uAC1C\uC758 \uAC12 \uC911 \uD558\uB098\uB97C \uCDE8\uD558\uB294 \uBCC0\uC218\uB97C \uD45C\uD604\uD558\uAE30 \uC704\uD574\uC11C\uB294 log2(n) \uBE44\uD2B8\uAC00 \uD544\uC694\uD558\uB2E4. \uBAA8\uB4E0 \uAC12\uC758 \uBC1C\uC0DD \uD655\uB960\uC774 \uB3D9\uC77C\uD558\uBA74, (\uC100\uB10C\uC73C\uB85C \uD45C\uD604\uB41C) \uC5D4\uD2B8\uB85C\uD53C\uB294 \uBE44\uD2B8\uC758 \uAC1C\uC218\uC640 \uB3D9\uC77C\uD558\uAC8C \uB41C\uB2E4. \uBE44\uD2B8\uC758 \uAC1C\uC218\uC640 \uC100\uB10C\uC774 \uB3D9\uC77C\uD55C \uACBD\uC6B0\uB294 \uBAA8\uB4E0 \uACB0\uACFC\uC758 \uBC1C\uC0DD \uD655\uB960\uC774 \uB3D9\uC77C\uD55C \uACBD\uC6B0\uB85C \uD55C\uC815\uB41C\uB2E4. \uB9CC\uC57D \uD558\uB098\uC758 \uC0AC\uAC74\uC774 \uB2E4\uB978 \uC0AC\uAC74\uBCF4\uB2E4 \uBC1C\uC0DD\uD560 \uD655\uB960\uC774 \uB192\uB2E4\uBA74 \uADF8 \uC0AC\uAC74\uC5D0 \uB300\uD55C \uAD00\uCE21\uC774 \uC81C\uACF5\uD560 \uC218 \uC788\uB294 \uC815\uBCF4\uB294 \uC801\uB2E4. \uBC18\uB300\uB85C \uD76C\uADC0\uD55C \uC0AC\uAC74\uC744 \uAD00\uCE21\uD558\uBA74 \uB354 \uB9CE\uC740 \uC815\uBCF4\uB97C \uC5BB\uC744 \uC218 \uC788\uB2E4. \uD655\uB960\uC774 \uB0AE\uC740 \uC0AC\uAC74\uC5D0 \uB300\uD55C \uAD00\uCE21\uC740 \uB35C \uBC1C\uC0DD\uD560 \uAC83\uC774\uBBC0\uB85C \uC21C \uD6A8\uACFC\uB294 \uBD88\uADE0\uB4F1\uD558\uAC8C \uBD84\uD3EC\uD55C \uC790\uB8CC\uB85C\uBD80\uD130 \uC5BB\uC5B4\uC9C4 log2(n) \uBCF4\uB2E4 \uC791\uC740 \uC5D4\uD2B8\uB85C\uD53C\uAC00 \uB41C\uB2E4. \uD558\uB098\uC758 \uC0AC\uAC74\uC774 \uD655\uC2E4\uD558\uAC8C \uC77C\uC5B4\uB098\uB294 \uACBD\uC6B0\uB77C\uBA74 \uC5D4\uD2B8\uB85C\uD53C\uB294 0 \uC774 \uB41C\uB2E4. \uC100\uB10C \uC5D4\uD2B8\uB85C\uD53C\uB294 \uC18C\uC2A4(source)\uC758 \uD655\uB960\uBD84\uD3EC\uAC00 \uC54C\uB824\uC838 \uC788\uC744 \uB54C \uC774 \uBAA8\uB4E0 \uACE0\uB824\uC0AC\uD56D\uC744 \uC218\uCE58\uD654\uD55C\uB2E4. \uAD00\uCE21\uB41C \uC0AC\uAC74\uB4E4\uC758 \uC758\uBBF8(\uBA54\uC2DC\uC9C0\uC758 \uC758\uBBF8)\uB294 \uC5D4\uD2B8\uB85C\uD53C\uB97C \uC815\uC758\uD560 \uB54C \uC911\uC694\uD558\uC9C0 \uC54A\uB2E4. \uC5D4\uD2B8\uB85C\uD53C\uB294 \uD2B9\uC815\uD55C \uC0AC\uAC74\uC774 \uC77C\uC5B4\uB0A0 \uD655\uB960\uB9CC\uC744 \uACE0\uB824\uD568\uC73C\uB85C\uC368 \uC0AC\uAC74\uC758 \uBC30\uD6C4\uC5D0 \uC874\uC7AC\uD558\uB294 \uD655\uB960\uBD84\uD3EC\uC5D0 \uB300\uD55C \uC815\uBCF4\uB97C \uCEA1\uC290\uD654\uD560\uBFD0 \uC0AC\uAC74 \uC790\uCCB4\uC758 \uC758\uBBF8\uB294 \uD3EC\uD568\uD558\uC9C0 \uC54A\uB294\uB2E4. \uC77C\uBC18\uC801\uC73C\uB85C \uC5D4\uD2B8\uB85C\uD53C\uB294 \uBB34\uC9C8\uC11C\uB3C4 \uB610\uB294 \uBD88\uD655\uC2E4\uC131\uC744 \uAC00\uB9AC\uD0A8\uB2E4. \uC100\uB10C \uC5D4\uD2B8\uB85C\uD53C\uC758 \uAC1C\uB150\uC740 \uD074\uB85C\uB4DC \uC100\uB10C\uC774 \uC790\uC2E0\uC758 1948\uB144 \uB17C\uBB38 \"\uC218\uD559\uC801 \uD1B5\uC2E0 \uC774\uB860\"\uC5D0\uC11C \uB3C4\uC785\uD558\uC600\uB2E4. \uC100\uB10C \uC5D4\uD2B8\uB85C\uD53C\uB294 \uC815\uBCF4 \uC18C\uC2A4(source)\uB97C \uBB34\uC190\uC2E4 \uC778\uCF54\uB529 \uB610\uB294 \uC555\uCD95\uD560 \uB54C \uAC00\uB2A5\uD55C \uCD5C\uC0C1\uC758 \uD3C9\uADE0 \uAE38\uC774\uC758 \uC808\uB300\uC801 \uD55C\uACC4\uCE58\uB97C \uC81C\uACF5\uD574\uC900\uB2E4. \uB808\uB2C8 \uC5D4\uD2B8\uB85C\uD53C\uB294 \uC100\uB10C \uC5D4\uD2B8\uB85C\uD53C\uB97C \uC77C\uBC18\uD654\uD55C \uAC83\uC774\uB2E4."@ko . . . . . . . "\uFEFF \u0406\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0301\u0439\u043D\u0430 \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u0301\u044F (\u0430\u043D\u0433\u043B. information entropy) \u2014 \u0446\u0435 \u0443\u0441\u0435\u0440\u0435\u0434\u043D\u0435\u043D\u0430 \u0448\u0432\u0438\u0434\u043A\u0456\u0441\u0442\u044C, \u0456\u0437 \u044F\u043A\u043E\u044E \u043F\u0440\u043E\u0434\u0443\u043A\u0443\u0454 \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u044E \u0441\u0442\u043E\u0445\u0430\u0441\u0442\u0438\u0447\u043D\u0435 \u0434\u0436\u0435\u0440\u0435\u043B\u043E \u0434\u0430\u043D\u0438\u0445. \u041C\u0456\u0440\u043E\u044E \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0439\u043D\u043E\u0457 \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u0457, \u043F\u043E\u0432'\u044F\u0437\u0430\u043D\u043E\u044E \u0437 \u043A\u043E\u0436\u043D\u0438\u043C \u043C\u043E\u0436\u043B\u0438\u0432\u0438\u043C \u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F\u043C \u0434\u0430\u043D\u0438\u0445, \u0454 \u0432\u0456\u0434'\u0454\u043C\u043D\u0438\u0439 \u043B\u043E\u0433\u0430\u0440\u0438\u0444\u043C \u0444\u0443\u043D\u043A\u0446\u0456\u0457 \u043C\u0430\u0441\u0438 \u0439\u043C\u043E\u0432\u0456\u0440\u043D\u043E\u0441\u0442\u0456 \u0434\u043B\u044F \u0446\u044C\u043E\u0433\u043E \u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F: . \u0422\u0430\u043A\u0438\u043C \u0447\u0438\u043D\u043E\u043C, \u043A\u043E\u043B\u0438 \u0434\u0436\u0435\u0440\u0435\u043B\u043E \u0434\u0430\u043D\u0438\u0445 \u043C\u0430\u0454 \u043C\u0435\u043D\u0448 \u0456\u043C\u043E\u0432\u0456\u0440\u043D\u0435 \u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F (\u043D\u0430\u043F\u0440\u0438\u043A\u043B\u0430\u0434, \u043A\u043E\u043B\u0438 \u0441\u0442\u0430\u0454\u0442\u044C\u0441\u044F \u043D\u0438\u0437\u044C\u043A\u043E\u0439\u043C\u043E\u0432\u0456\u0440\u043D\u0430 \u043F\u043E\u0434\u0456\u044F), \u0442\u043E \u0446\u044F \u043F\u043E\u0434\u0456\u044F \u043D\u0435\u0441\u0435 \u0431\u0456\u043B\u044C\u0448\u0435 \u00AB\u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0457\u00BB (\u00AB\u043D\u0435\u043E\u0447\u0456\u043A\u0443\u0432\u0430\u043D\u043E\u0441\u0442\u0456\u00BB), \u043D\u0456\u0436 \u043A\u043E\u043B\u0438 \u0434\u0436\u0435\u0440\u0435\u043B\u043E \u0434\u0430\u043D\u0438\u0445 \u043C\u0430\u0454 \u0431\u0456\u043B\u044C\u0448 \u0456\u043C\u043E\u0432\u0456\u0440\u043D\u0435 \u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F. \u0412\u0438\u0437\u043D\u0430\u0447\u0435\u043D\u0430 \u0442\u0430\u043A\u0438\u043C \u0447\u0438\u043D\u043E\u043C \u043A\u0456\u043B\u044C\u043A\u0456\u0441\u0442\u044C \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0457, \u0449\u043E \u043F\u0435\u0440\u0435\u0434\u0430\u0454\u0442\u044C\u0441\u044F \u043A\u043E\u0436\u043D\u043E\u044E \u043F\u043E\u0434\u0456\u0454\u044E, \u0441\u0442\u0430\u0454 \u0432\u0438\u043F\u0430\u0434\u043A\u043E\u0432\u043E\u044E \u0437\u043C\u0456\u043D\u043D\u043E\u044E, \u0447\u0438\u0454 \u043C\u0430\u0442\u0435\u043C\u0430\u0442\u0438\u0447\u043D\u0435 \u0441\u043F\u043E\u0434\u0456\u0432\u0430\u043D\u043D\u044F \u0454 \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0439\u043D\u043E\u044E \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u0454\u044E. \u0412\u0437\u0430\u0433\u0430\u043B\u0456, \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u044E \u043F\u043E\u0437\u043D\u0430\u0447\u0430\u044E\u0442\u044C \u0431\u0435\u0437\u043B\u0430\u0434 \u0430\u0431\u043E \u043D\u0435\u0432\u0438\u0437\u043D\u0430\u0447\u0435\u043D\u0456\u0441\u0442\u044C, \u0456 \u0432\u0438\u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u0457, \u0449\u043E \u0437\u0430\u0441\u0442\u043E\u0441\u043E\u0432\u0443\u044E\u0442\u044C \u0432 \u0442\u0435\u043E\u0440\u0456\u0457 \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0457, \u0454 \u043F\u0440\u044F\u043C\u0438\u043C \u0430\u043D\u0430\u043B\u043E\u0433\u043E\u043C \u0432\u0438\u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F, \u0449\u043E \u0437\u0430\u0441\u0442\u043E\u0441\u043E\u0432\u0443\u044E\u0442\u044C \u0443 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u043D\u0456\u0439 \u0442\u0435\u0440\u043C\u043E\u0434\u0438\u043D\u0430\u043C\u0456\u0446\u0456. \u041F\u043E\u043D\u044F\u0442\u0442\u044F \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0439\u043D\u043E\u0457 \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u0457 \u0431\u0443\u043B\u043E \u0432\u0432\u0435\u0434\u0435\u043D\u043E \u041A\u043B\u043E\u0434\u043E\u043C \u0428\u0435\u043D\u043D\u043E\u043D\u043E\u043C \u0443 \u0439\u043E\u0433\u043E \u043F\u0440\u0430\u0446\u0456 1948 \u0440\u043E\u043A\u0443 \u00AB\u041C\u0430\u0442\u0435\u043C\u0430\u0442\u0438\u0447\u043D\u0430 \u0442\u0435\u043E\u0440\u0456\u044F \u0437\u0432'\u044F\u0437\u043A\u0443\u00BB. \u0411\u0430\u0437\u043E\u0432\u0430 \u043C\u043E\u0434\u0435\u043B\u044C \u0441\u0438\u0441\u0442\u0435\u043C\u0438 \u043F\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u043D\u043D\u044F \u0434\u0430\u043D\u0438\u0445 \u0441\u043A\u043B\u0430\u0434\u0430\u0454\u0442\u044C\u0441\u044F \u0437 \u0442\u0440\u044C\u043E\u0445 \u0435\u043B\u0435\u043C\u0435\u043D\u0442\u0456\u0432: \u0434\u0436\u0435\u0440\u0435\u043B\u0430 \u0434\u0430\u043D\u0438\u0445, \u043A\u0430\u043D\u0430\u043B\u0443 \u0437\u0432'\u044F\u0437\u043A\u0443 \u0442\u0430 \u043F\u0440\u0438\u0439\u043C\u0430\u0447\u0430, \u0456, \u0437\u0430 \u0432\u0438\u0440\u0430\u0437\u043E\u043C \u0428\u0435\u043D\u043D\u043E\u043D\u0430, \u00AB\u0444\u0443\u043D\u0434\u0430\u043C\u0435\u043D\u0442\u0430\u043B\u044C\u043D\u043E\u044E \u0437\u0430\u0434\u0430\u0447\u0435\u044E \u0437\u0432'\u044F\u0437\u043A\u0443\u00BB \u0454 \u0442\u0435, \u0449\u043E\u0431\u0438 \u043E\u0442\u0440\u0438\u043C\u0443\u0432\u0430\u0447 \u0431\u0443\u0432 \u0437\u0434\u0430\u0442\u0435\u043D \u0432\u0441\u0442\u0430\u043D\u043E\u0432\u043B\u044E\u0432\u0430\u0442\u0438, \u044F\u043A\u0456 \u0434\u0430\u043D\u0456 \u0431\u0443\u043B\u043E \u043F\u043E\u0440\u043E\u0434\u0436\u0435\u043D\u043E \u0434\u0436\u0435\u0440\u0435\u043B\u043E\u043C, \u043D\u0430 \u043E\u0441\u043D\u043E\u0432\u0456 \u0441\u0438\u0433\u043D\u0430\u043B\u0443, \u0449\u043E \u0432\u0456\u043D \u043E\u0442\u0440\u0438\u043C\u0443\u0454 \u043A\u0430\u043D\u0430\u043B\u043E\u043C.:379\u2013423 \u0442\u0430 623\u2013656 \u0415\u043D\u0442\u0440\u043E\u043F\u0456\u044F \u0437\u0430\u0431\u0435\u0437\u043F\u0435\u0447\u0443\u0454 \u0430\u0431\u0441\u043E\u043B\u044E\u0442\u043D\u0443 \u043C\u0435\u0436\u0443 \u043D\u0430\u0439\u043A\u043E\u0440\u043E\u0442\u0448\u043E\u0457 \u043C\u043E\u0436\u043B\u0438\u0432\u043E\u0457 \u0443\u0441\u0435\u0440\u0435\u0434\u043D\u0435\u043D\u043E\u0457 \u0434\u043E\u0432\u0436\u0438\u043D\u0438 \u0431\u0435\u0437\u0432\u0442\u0440\u0430\u0442\u043D\u043E\u0433\u043E \u0441\u0442\u0438\u0441\u043D\u044E\u0432\u0430\u043B\u044C\u043D\u043E\u0433\u043E \u043A\u043E\u0434\u0443\u0432\u0430\u043D\u043D\u044F \u0434\u0430\u043D\u0438\u0445, \u043F\u0440\u043E\u0434\u0443\u043A\u043E\u0432\u0430\u043D\u0438\u0445 \u0434\u0436\u0435\u0440\u0435\u043B\u043E\u043C, \u0456 \u044F\u043A\u0449\u043E \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u044F \u0434\u0436\u0435\u0440\u0435\u043B\u0430 \u0454 \u043C\u0435\u043D\u0448\u043E\u044E \u0437\u0430 \u043F\u0440\u043E\u043F\u0443\u0441\u043A\u043D\u0443 \u0441\u043F\u0440\u043E\u043C\u043E\u0436\u043D\u0456\u0441\u0442\u044C \u043A\u0430\u043D\u0430\u043B\u0443 \u0437\u0432'\u044F\u0437\u043A\u0443, \u0442\u043E \u0434\u0430\u043D\u0456, \u043F\u043E\u0440\u043E\u0434\u0436\u0443\u0432\u0430\u043D\u0456 \u0446\u0438\u043C \u0434\u0436\u0435\u0440\u0435\u043B\u043E\u043C, \u043C\u043E\u0436\u043B\u0438\u0432\u043E \u043D\u0430\u0434\u0456\u0439\u043D\u043E \u043F\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0442\u0438 \u043F\u0440\u0438\u0439\u043C\u0430\u0447\u0435\u0432\u0456 (\u043F\u0440\u0438\u043D\u0430\u0439\u043C\u043D\u0456 \u0442\u0435\u043E\u0440\u0435\u0442\u0438\u0447\u043D\u043E, \u043C\u043E\u0436\u043B\u0438\u0432\u043E, \u043D\u0435\u0445\u0442\u0443\u044E\u0447\u0438 \u0434\u0435\u044F\u043A\u0438\u043C\u0438 \u043F\u0440\u0430\u043A\u0442\u0438\u0447\u043D\u0438\u043C\u0438 \u043C\u0456\u0440\u043A\u0443\u0432\u0430\u043D\u043D\u044F\u043C\u0438, \u0442\u0430\u043A\u0438\u043C\u0438 \u044F\u043A \u0441\u043A\u043B\u0430\u0434\u043D\u0456\u0441\u0442\u044C \u0441\u0438\u0441\u0442\u0435\u043C\u0438, \u043F\u043E\u0442\u0440\u0456\u0431\u043D\u043E\u0457 \u0434\u043B\u044F \u043F\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u043D\u043D\u044F \u0434\u0430\u043D\u0438\u0445, \u0430\u0431\u043E \u043A\u0456\u043B\u044C\u043A\u043E\u0441\u0442\u0456 \u0447\u0430\u0441\u0443, \u0449\u043E \u0446\u0435 \u043F\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u043D\u043D\u044F \u0446\u0438\u0445 \u0434\u0430\u043D\u0438\u0445 \u043C\u043E\u0436\u0435 \u0437\u0430\u0431\u0438\u0440\u0430\u0442\u0438). \u0406\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0439\u043D\u0443 \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u044E \u0437\u0430\u0437\u0432\u0438\u0447\u0430\u0439 \u0432\u0438\u043C\u0456\u0440\u044E\u044E\u0442\u044C \u0432 \u0431\u0456\u0442\u0430\u0445 (\u0449\u043E \u0442\u0430\u043A\u043E\u0436 \u043D\u0430\u0437\u0438\u0432\u0430\u044E\u0442\u044C \u00AB\u0448\u0435\u043D\u043D\u043E\u043D\u0430\u043C\u0438\u00BB, \u0430\u043D\u0433\u043B. bit, shannon), \u0430\u0431\u043E \u0456\u043D\u043E\u0434\u0456 \u0432 \u00AB\u043D\u0430\u0442\u0443\u0440\u0430\u043B\u044C\u043D\u0438\u0445 \u043E\u0434\u0438\u043D\u0438\u0446\u044F\u0445\u00BB (\u043D\u0430\u0442\u0430\u0445, \u0430\u043D\u0433\u043B. nat), \u0430\u0431\u043E \u0432 \u0434\u0435\u0441\u044F\u0442\u043A\u043E\u0432\u0438\u0445 \u0446\u0438\u0444\u0440\u0430\u0445 (\u0449\u043E \u043D\u0430\u0437\u0438\u0432\u0430\u044E\u0442\u044C \u00AB\u0434\u0438\u0442\u0430\u043C\u0438\u00BB, \u00AB\u0431\u0430\u043D\u0430\u043C\u0438\u00BB \u0430\u0431\u043E \u00AB\u0433\u0430\u0440\u0442\u043B\u0456\u00BB). \u041E\u0434\u0438\u043D\u0438\u0446\u044F \u0432\u0438\u043C\u0456\u0440\u044E\u0432\u0430\u043D\u043D\u044F \u0437\u0430\u043B\u0435\u0436\u0438\u0442\u044C \u0432\u0456\u0434 \u043E\u0441\u043D\u043E\u0432\u0438 \u043B\u043E\u0433\u0430\u0440\u0438\u0444\u043C\u0430, \u0449\u043E \u0432\u0438\u043A\u043E\u0440\u0438\u0441\u0442\u043E\u0432\u0443\u044E\u0442\u044C \u0434\u043B\u044F \u0432\u0438\u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u0457. \u041B\u043E\u0433\u0430\u0440\u0438\u0444\u043C \u0440\u043E\u0437\u043F\u043E\u0434\u0456\u043B\u0443 \u0439\u043C\u043E\u0432\u0456\u0440\u043D\u043E\u0441\u0442\u0456 \u0454 \u043A\u043E\u0440\u0438\u0441\u043D\u0438\u043C \u044F\u043A \u043C\u0456\u0440\u0430 \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u0457 \u0442\u043E\u043C\u0443, \u0449\u043E \u0434\u043B\u044F \u043D\u0435\u0437\u0430\u043B\u0435\u0436\u043D\u0438\u0445 \u0434\u0436\u0435\u0440\u0435\u043B \u0432\u0456\u043D \u0454 \u0430\u0434\u0438\u0442\u0438\u0432\u043D\u0438\u043C. \u041D\u0430\u043F\u0440\u0438\u043A\u043B\u0430\u0434, \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u044F \u043F\u0456\u0434\u043A\u0438\u0434\u0430\u043D\u043D\u044F \u0441\u043F\u0440\u0430\u0432\u0435\u0434\u043B\u0438\u0432\u043E\u0457 \u043C\u043E\u043D\u0435\u0442\u0438 \u0441\u043A\u043B\u0430\u0434\u0430\u0454 1 \u0431\u0456\u0442, \u0430 \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u0454\u044E m \u043F\u0456\u0434\u043A\u0438\u0434\u0430\u043D\u044C \u0454 m \u0431\u0456\u0442. \u0423 \u043F\u0440\u043E\u0441\u0442\u043E\u043C\u0443 \u043F\u043E\u0434\u0430\u043D\u043D\u0456, \u0434\u043B\u044F \u043F\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043B\u0435\u043D\u043D\u044F \u0432\u0435\u043B\u0438\u0447\u0438\u043D\u0438, \u0449\u043E \u043C\u043E\u0436\u0435 \u043D\u0430\u0431\u0443\u0432\u0430\u0442\u0438 \u043E\u0434\u043D\u043E\u0433\u043E \u0437 n \u0437\u043D\u0430\u0447\u0435\u043D\u044C, \u043F\u043E\u0442\u0440\u0456\u0431\u043D\u043E log2(n) \u0431\u0456\u0442\u0456\u0432, \u044F\u043A\u0449\u043E n \u0454 \u0441\u0442\u0435\u043F\u0435\u043D\u0435\u043C \u0447\u0438\u0441\u043B\u0430 2. \u042F\u043A\u0449\u043E \u0446\u0456 \u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F \u0454 \u043E\u0434\u043D\u0430\u043A\u043E\u0432\u043E \u0439\u043C\u043E\u0432\u0456\u0440\u043D\u0438\u043C\u0438, \u0442\u043E \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u044F (\u0432 \u0431\u0456\u0442\u0430\u0445) \u0434\u043E\u0440\u0456\u0432\u043D\u044E\u0454 \u0446\u044C\u043E\u043C\u0443 \u0447\u0438\u0441\u043B\u0443. \u042F\u043A\u0449\u043E \u0436 \u0442\u0440\u0430\u043F\u043B\u044F\u043D\u043D\u044F \u043E\u0434\u043D\u043E\u0433\u043E \u0437 \u0446\u0438\u0445 \u0437\u043D\u0430\u0447\u0435\u043D\u044C \u0454 \u0439\u043C\u043E\u0432\u0456\u0440\u043D\u0456\u0448\u0438\u043C \u0437\u0430 \u0456\u043D\u0448\u0456, \u0442\u043E \u0441\u043F\u043E\u0441\u0442\u0435\u0440\u0435\u0436\u0435\u043D\u043D\u044F \u0442\u0440\u0430\u043F\u043B\u044F\u043D\u043D\u044F \u0446\u044C\u043E\u0433\u043E \u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F \u0454 \u043C\u0435\u043D\u0448 \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0442\u0438\u0432\u043D\u0438\u043C, \u043D\u0456\u0436 \u044F\u043A\u0431\u0438 \u0442\u0440\u0430\u043F\u0438\u0432\u0441\u044F \u043D\u0435 \u0442\u0430\u043A\u0438\u0439 \u0437\u0432\u0438\u0447\u0430\u0439\u043D\u0438\u0439 \u0440\u0435\u0437\u0443\u043B\u044C\u0442\u0430\u0442. \u0406 \u043D\u0430\u0432\u043F\u0430\u043A\u0438, \u0440\u0456\u0434\u043A\u0456\u0441\u043D\u0456\u0448\u0456 \u043F\u043E\u0434\u0456\u0457 \u043F\u0440\u0438 \u0457\u0445\u043D\u044C\u043E\u043C\u0443 \u0441\u043F\u043E\u0441\u0442\u0435\u0440\u0435\u0436\u0435\u043D\u043D\u0456 \u043D\u0430\u0434\u0430\u044E\u0442\u044C \u0431\u0456\u043B\u044C\u0448\u0435 \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0457. \u041E\u0441\u043A\u0456\u043B\u044C\u043A\u0438 \u0441\u043F\u043E\u0441\u0442\u0435\u0440\u0435\u0436\u0435\u043D\u043D\u044F \u043C\u0435\u043D\u0448 \u0456\u043C\u043E\u0432\u0456\u0440\u043D\u0438\u0445 \u043F\u043E\u0434\u0456\u0439 \u0442\u0440\u0430\u043F\u043B\u044F\u0454\u0442\u044C\u0441\u044F \u0440\u0456\u0434\u0448\u0435, \u0432 \u043F\u0456\u0434\u0441\u0443\u043C\u043A\u0443 \u0432\u0438\u0445\u043E\u0434\u0438\u0442\u044C, \u0449\u043E \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u044F (\u043F\u0440\u0438 \u0440\u043E\u0437\u0433\u043B\u044F\u0434\u0430\u043D\u043D\u0456 \u0457\u0457 \u044F\u043A \u0443\u0441\u0435\u0440\u0435\u0434\u043D\u0435\u043D\u043E\u0457 \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0457), \u043E\u0442\u0440\u0438\u043C\u0443\u0432\u0430\u043D\u0430 \u0432\u0456\u0434 \u043D\u0435\u0440\u0456\u0432\u043D\u043E\u043C\u0456\u0440\u043D\u043E \u0440\u043E\u0437\u043F\u043E\u0434\u0456\u043B\u0435\u043D\u0438\u0445 \u0434\u0430\u043D\u0438\u0445, \u0454 \u0437\u0430\u0432\u0436\u0434\u0438 \u043C\u0435\u043D\u0448\u043E\u044E \u0430\u0431\u043E \u0440\u0456\u0432\u043D\u043E\u044E \u0434\u043E log2(n). \u042F\u043A\u0449\u043E \u0432\u0438\u0445\u0456\u0434 \u0454 \u043D\u0435\u0437\u043C\u0456\u043D\u043D\u0438\u043C, \u0442\u043E \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u044F \u0434\u043E\u0440\u0456\u0432\u043D\u044E\u0454 \u043D\u0443\u043B\u0435\u0432\u0456. \u041A\u043E\u043B\u0438 \u0440\u043E\u0437\u043F\u043E\u0434\u0456\u043B \u0456\u043C\u043E\u0432\u0456\u0440\u043D\u043E\u0441\u0442\u0456 \u0434\u0436\u0435\u0440\u0435\u043B\u0430 \u0434\u0430\u043D\u0438\u0445 \u0454 \u0432\u0456\u0434\u043E\u043C\u0438\u043C, \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u044F \u0432\u0438\u0440\u0430\u0436\u0430\u0454 \u0446\u0456 \u043C\u0456\u0440\u043A\u0443\u0432\u0430\u043D\u043D\u044F \u043A\u0456\u043B\u044C\u043A\u0456\u0441\u043D\u043E. \u0417\u043C\u0456\u0441\u0442 \u0441\u043F\u043E\u0441\u0442\u0435\u0440\u0435\u0436\u0443\u0432\u0430\u043D\u0438\u0445 \u043F\u043E\u0434\u0456\u0439 (\u0437\u043C\u0456\u0441\u0442 \u043F\u043E\u0432\u0456\u0434\u043E\u043C\u043B\u0435\u043D\u044C) \u0443 \u0432\u0438\u0437\u043D\u0430\u0447\u0435\u043D\u043D\u0456 \u0435\u043D\u0442\u0440\u043E\u043F\u0456\u0457 \u0437\u043D\u0430\u0447\u0435\u043D\u043D\u044F \u043D\u0435 \u043C\u0430\u0454. \u0415\u043D\u0442\u0440\u043E\u043F\u0456\u044F \u0432\u0440\u0430\u0445\u043E\u0432\u0443\u0454 \u043B\u0438\u0448\u0435 \u0439\u043C\u043E\u0432\u0456\u0440\u043D\u0456\u0441\u0442\u044C \u0441\u043F\u043E\u0441\u0442\u0435\u0440\u0435\u0436\u0435\u043D\u043D\u044F \u043F\u0435\u0432\u043D\u043E\u0457 \u043F\u043E\u0434\u0456\u0457, \u0442\u043E\u043C\u0443 \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u044F, \u044F\u043A\u0443 \u0432\u043E\u043D\u0430 \u0432\u043A\u043B\u044E\u0447\u0430\u0454, \u0454 \u0456\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0456\u0454\u044E \u043F\u0440\u043E \u0440\u043E\u0437\u043F\u043E\u0434\u0456\u043B \u0439\u043C\u043E\u0432\u0456\u0440\u043D\u043E\u0441\u0442\u0456, \u0449\u043E \u043B\u0435\u0436\u0438\u0442\u044C \u0432 \u043E\u0441\u043D\u043E\u0432\u0456, \u0430 \u043D\u0435 \u043F\u0440\u043E \u0437\u043C\u0456\u0441\u0442 \u0441\u0430\u043C\u0438\u0445 \u043F\u043E\u0434\u0456\u0439."@uk . . . . . "62610"^^ . "Entropie de Shannon"@fr . . . . . . . . . "Shannon's entropy"@en . . "15445"^^ . . . . . . . . . . . . . . . . "\u60C5\u5831\u91CF\uFF08\u3058\u3087\u3046\u307B\u3046\u308A\u3087\u3046\uFF09\u3084\u30A8\u30F3\u30C8\u30ED\u30D4\u30FC\uFF08\u82F1: entropy\uFF09\u306F\u3001\u60C5\u5831\u7406\u8AD6\u306E\u6982\u5FF5\u3067\u3001\u3042\u308B\u3067\u304D\u3054\u3068\uFF08\u4E8B\u8C61\uFF09\u304C\u8D77\u304D\u305F\u969B\u3001\u305D\u308C\u304C\u3069\u308C\u307B\u3069\u8D77\u3053\u308A\u306B\u304F\u3044\u304B\u3092\u8868\u3059\u5C3A\u5EA6\u3067\u3042\u308B\u3002\u3042\u308A\u3075\u308C\u305F\u3067\u304D\u3054\u3068\uFF08\u305F\u3068\u3048\u3070\u300C\u98A8\u306E\u97F3\u300D\uFF09\u304C\u8D77\u3053\u3063\u305F\u3053\u3068\u3092\u77E5\u3063\u3066\u3082\u305D\u308C\u306F\u305F\u3044\u3057\u305F\u300C\u60C5\u5831\u300D\u306B\u306F\u306A\u3089\u306A\u3044\u304C\u3001\u9006\u306B\u73CD\u3057\u3044\u3067\u304D\u3054\u3068\uFF08\u305F\u3068\u3048\u3070\u300C\u66F2\u306E\u6F14\u594F\u300D\uFF09\u304C\u8D77\u3053\u308C\u3070\u3001\u305D\u308C\u306F\u3088\u308A\u591A\u304F\u306E\u300C\u60C5\u5831\u300D\u3092\u542B\u3093\u3067\u3044\u308B\u3068\u8003\u3048\u3089\u308C\u308B\u3002\u60C5\u5831\u91CF\u306F\u305D\u306E\u3067\u304D\u3054\u3068\u304C\u672C\u8CEA\u7684\u306B\u3069\u306E\u7A0B\u5EA6\u306E\u60C5\u5831\u3092\u6301\u3064\u304B\u306E\u5C3A\u5EA6\u3067\u3042\u308B\u3068\u307F\u306A\u3059\u3053\u3068\u3082\u3067\u304D\u308B\u3002 \u306A\u304A\u3053\u3053\u3067\u3044\u3046\u300C\u60C5\u5831\u300D\u3068\u306F\u3001\u3042\u304F\u307E\u3067\u305D\u306E\u3067\u304D\u3054\u3068\u306E\u8D77\u3053\u308A\u306B\u304F\u3055\uFF08\u78BA\u7387\uFF09\u3060\u3051\u306B\u3088\u3063\u3066\u6C7A\u307E\u308B\u6570\u5B66\u7684\u306A\u91CF\u3067\u3057\u304B\u306A\u304F\u3001\u500B\u4EBA\u30FB\u793E\u4F1A\u306B\u304A\u3051\u308B\u6709\u7528\u6027\u3068\u306F\u7121\u95A2\u4FC2\u3067\u3042\u308B\u3002\u305F\u3068\u3048\u3070\u300C\u81EA\u5206\u304C\u5B9D\u304F\u3058\u306B\u5F53\u305F\u3063\u305F\u300D\u3068\u300C\u898B\u77E5\u3089\u306CA\u3055\u3093\u304C\u5B9D\u304F\u3058\u306B\u5F53\u305F\u3063\u305F\u300D\u306F\u3001\u524D\u8005\u306E\u65B9\u304C\u6709\u7528\u306A\u60C5\u5831\u306B\u898B\u3048\u308B\u304C\u3001\u4E21\u8005\u306E\u60C5\u5831\u91CF\u306F\u5168\u304F\u540C\u3058\u3067\u3042\u308B\uFF08\u5B9D\u304F\u3058\u304C\u5F53\u305F\u308B\u78BA\u7387\u306F\u6240\u4E0E\u6761\u4EF6\u4E00\u5B9A\u306E\u3082\u3068\u3067\u306F\u8AB0\u3067\u3082\u540C\u3058\u3067\u3042\u308B\u305F\u3081\uFF09\u3002"@ja . . . "Entropy"@en . "L'entropie de Shannon, due \u00E0 Claude Shannon, est une fonction math\u00E9matique qui, intuitivement, correspond \u00E0 la quantit\u00E9 d'information contenue ou d\u00E9livr\u00E9e par une source d'information. Cette source peut \u00EAtre un texte \u00E9crit dans une langue donn\u00E9e, un signal \u00E9lectrique ou encore un fichier informatique quelconque (collection d'octets)."@fr . . . "\u0418\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u043E\u0301\u043D\u043D\u0430\u044F \u044D\u043D\u0442\u0440\u043E\u043F\u0438\u0301\u044F \u2014 \u043C\u0435\u0440\u0430 \u043D\u0435\u043E\u043F\u0440\u0435\u0434\u0435\u043B\u0451\u043D\u043D\u043E\u0441\u0442\u0438 \u043D\u0435\u043A\u043E\u0442\u043E\u0440\u043E\u0439 \u0441\u0438\u0441\u0442\u0435\u043C\u044B (\u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043A\u043E\u0439 \u0444\u0438\u0437\u0438\u043A\u0435 \u0438\u043B\u0438 \u0442\u0435\u043E\u0440\u0438\u0438 \u0438\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u0438), \u0432 \u0447\u0430\u0441\u0442\u043D\u043E\u0441\u0442\u0438, \u043D\u0435\u043F\u0440\u0435\u0434\u0441\u043A\u0430\u0437\u0443\u0435\u043C\u043E\u0441\u0442\u044C \u043F\u043E\u044F\u0432\u043B\u0435\u043D\u0438\u044F \u043A\u0430\u043A\u043E\u0433\u043E-\u043B\u0438\u0431\u043E \u0441\u0438\u043C\u0432\u043E\u043B\u0430 \u043F\u0435\u0440\u0432\u0438\u0447\u043D\u043E\u0433\u043E \u0430\u043B\u0444\u0430\u0432\u0438\u0442\u0430. \u0412 \u043F\u043E\u0441\u043B\u0435\u0434\u043D\u0435\u043C \u0441\u043B\u0443\u0447\u0430\u0435 \u043F\u0440\u0438 \u043E\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0438 \u0438\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u043E\u043D\u043D\u044B\u0445 \u043F\u043E\u0442\u0435\u0440\u044C \u044D\u043D\u0442\u0440\u043E\u043F\u0438\u044F \u0447\u0438\u0441\u043B\u0435\u043D\u043D\u043E \u0440\u0430\u0432\u043D\u0430 \u043A\u043E\u043B\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0438\u043D\u0444\u043E\u0440\u043C\u0430\u0446\u0438\u0438 \u043D\u0430 \u0441\u0438\u043C\u0432\u043E\u043B \u043F\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0435\u043C\u043E\u0433\u043E \u0441\u043E\u043E\u0431\u0449\u0435\u043D\u0438\u044F. \u041D\u0430\u043F\u0440\u0438\u043C\u0435\u0440, \u0432 \u043F\u043E\u0441\u043B\u0435\u0434\u043E\u0432\u0430\u0442\u0435\u043B\u044C\u043D\u043E\u0441\u0442\u0438 \u0431\u0443\u043A\u0432, \u0441\u043E\u0441\u0442\u0430\u0432\u043B\u044F\u044E\u0449\u0438\u0445 \u043A\u0430\u043A\u043E\u0435-\u043B\u0438\u0431\u043E \u043F\u0440\u0435\u0434\u043B\u043E\u0436\u0435\u043D\u0438\u0435 \u043D\u0430 \u0440\u0443\u0441\u0441\u043A\u043E\u043C \u044F\u0437\u044B\u043A\u0435, \u0440\u0430\u0437\u043D\u044B\u0435 \u0431\u0443\u043A\u0432\u044B \u043F\u043E\u044F\u0432\u043B\u044F\u044E\u0442\u0441\u044F \u0441 \u0440\u0430\u0437\u043D\u043E\u0439 \u0447\u0430\u0441\u0442\u043E\u0442\u043D\u043E\u0441\u0442\u044C\u044E, \u043F\u043E\u044D\u0442\u043E\u043C\u0443 \u043D\u0435\u043E\u043F\u0440\u0435\u0434\u0435\u043B\u0451\u043D\u043D\u043E\u0441\u0442\u044C \u043F\u043E\u044F\u0432\u043B\u0435\u043D\u0438\u044F \u0434\u043B\u044F \u043D\u0435\u043A\u043E\u0442\u043E\u0440\u044B\u0445 \u0431\u0443\u043A\u0432 \u043C\u0435\u043D\u044C\u0448\u0435, \u0447\u0435\u043C \u0434\u043B\u044F \u0434\u0440\u0443\u0433\u0438\u0445. \u0415\u0441\u043B\u0438 \u0436\u0435 \u0443\u0447\u0435\u0441\u0442\u044C, \u0447\u0442\u043E \u043D\u0435\u043A\u043E\u0442\u043E\u0440\u044B\u0435 \u0441\u043E\u0447\u0435\u0442\u0430\u043D\u0438\u044F \u0431\u0443\u043A\u0432 (\u0432 \u044D\u0442\u043E\u043C \u0441\u043B\u0443\u0447\u0430\u0435 \u0433\u043E\u0432\u043E\u0440\u044F\u0442 \u043E\u0431 \u044D\u043D\u0442\u0440\u043E\u043F\u0438\u0438 -\u0433\u043E \u043F\u043E\u0440\u044F\u0434\u043A\u0430, \u0441\u043C. ) \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044E\u0442\u0441\u044F \u043E\u0447\u0435\u043D\u044C \u0440\u0435\u0434\u043A\u043E, \u0442\u043E \u043D\u0435\u043E\u043F\u0440\u0435\u0434\u0435\u043B\u0451\u043D\u043D\u043E\u0441\u0442\u044C \u0443\u043C\u0435\u043D\u044C\u0448\u0430\u0435\u0442\u0441\u044F \u0435\u0449\u0435 \u0441\u0438\u043B\u044C\u043D\u0435\u0435."@ru . . . . . . "Entropia, quando relacionada \u00E0 termodin\u00E2mica, \u00E9 a medida do grau de irreversibilidade de um determinado sistema. Ent\u00E3o, quanto menor a chance do sistema voltar ao seu estado original, maior ser\u00E1 o grau de entropia. \u00C9 considerada por Einstein como a primeira lei de todas a ci\u00EAncias."@pt . "Entropie (Informationstheorie)"@de . . . "Nella teoria dell'informazione l'entropia di una sorgente di messaggi \u00E8 l'informazione media contenuta in ogni messaggio emesso. L'informazione contenuta in un messaggio \u00E8 tanto pi\u00F9 grande quanto meno probabile era. Un messaggio scontato, che ha un'alta probabilit\u00E0 di essere emesso dalla sorgente contiene poca informazione, mentre un messaggio inaspettato, poco probabile contiene una grande quantit\u00E0 di informazione. L'entropia di una sorgente risponde a domande come: qual \u00E8 il numero minimo di bit che servono per memorizzare in media un messaggio della sorgente? Quanto sono prevedibili i messaggi emessi dalla sorgente?"@it . . . "Entropie (informatietheorie)"@nl . . . . . . .