| dbpprop:abstract
|
- Information theory is a branch of applied mathematics and electrical engineering involving the quantification of information. Historically, information theory was developed by Claude E. Shannon to find fundamental limits on compressing and reliably storing and communicating data. Since its inception it has broadened to find applications in many other areas, including statistical inference, natural language processing, cryptography generally, networks other than communication networks — as in neurobiology,
- Die Informationstheorie ist eine mathematische Theorie aus dem Bereich der Wahrscheinlichkeitstheorie und Statistik, die auf Claude Shannon zurückgeht. Sie beschäftigt sich mit Begriffen wie Information, Entropie, Informationsübertragung, Datenkompression, Kodierung und verwandten Themen. Neben der Mathematik, Informatik und Nachrichtentechnik wird die theoretische Betrachtung von Kommunikation durch die Informationstheorie auch zur Beschreibung von Kommunikationssystemen in anderen Bereichen etc. eingesetzt. Die Shannonsche Theorie verwendet den Begriff der Entropie, um die Informationsdichte (Informationsgehalt) von Nachrichten zu charakterisieren. Je ungleichförmiger eine Nachricht aufgebaut ist, desto höher ist ihre Entropie. Grundlegend für die Informationstheorie ist neben dem Entropiebegriff das Shannon-Hartley-Gesetz, nach Claude Elwood Shannon und Ralph Hartley, welches die theoretische Obergrenze der Kanalkapazität, das ist die maximale Datenübertragungsrate ohne Übertragungsfehler, eines Übertragungskanals in Abhängigkeit von Bandbreite und Signal-zu-Rausch-Verhältnis beschreibt.
- La Teoría de la informació és una branca de la teoria matemàtica de la probabilitat i la estadística que estudia la informació i tot el relacionat amb aquesta, és a dir els canals, la compressió de dades, la criptografía i d'altres temes relacionats. Aquesta branca fou iniciada per Claude E. Shannon a través de l'article "Una teoria matemàtica de la comunicació" presentat a les Bell System Technical Journal del 1948 i ens permet valorar la capacitat de transmetre informació per un canal de comunicació d'acord amb el seu ample de banda i la seva relació senyal a soroll. La informació es tractada doncs com una magnitud física i per a caracteritzar la informació que transmet una seqüència de símbols s'usa un concepte anomenat entropia. Normalment considerem els canals no ideals però és habitual idealitzar les no linealitats per tal de poder estudiar la màxima quantitat d'informació útil que es pot arribar a enviar a través d'un cert canal.
- Teorie informace se zabývá přenosem, kódováním a měřením informace. Za tvůrce vzniku teorie informace se pokládá C. E. Shannon. K nejdůležitějším odvětvím teorie informace patří teorie přenosu informace.
- Teoría de la información es una rama de la teoría matemática de la probabilidad y la estadística que estudia la información y todo lo relacionado con ella: canales, compresión de datos, criptografía y temas relacionados. Fue iniciada por Claude E. Shannon a través de un artículo publicado en el Bell System Technical Journal en 1948, titulado Una teoría matemática de la comunicación.
- Informaatioteoria on sovelletun matematiikan osa-alue, joka tutkii tapoja siirtää informaatiota. Informaatioteoria pohjaa Claude Shannonin vuonna 1948 julkaisemaan tutkimukseen ”A Mathematical Theory of Communication”. Informaatioteoriaa sovelletaan etenkin tiedonpakkauksessa ja tietoliikenteessä, mutta myös muun muassa molekyylibiologiassa. Informaatioteoria antaa useita perustavia ja eri aloille yleistettäviä tuloksia viestinnän vaatimuksista ja rajoituksista. Informaatioteorian perusmallissa on lähetin, joka koodaa lähetettävän informaation, häiriötä aiheuttava kanava, jonka kautta informaatio lähetetään, ja vastaanotin, joka purkaa koodatun ja kanavan korruptoiman informaation. Informaatioteoria pyrkii selvittämään mahdollisimman lyhyen koodaustavan lähettää informaatiota luotettavasti kanavan läpi. Yksinkertaisuutensa vuoksi malli soveltuu monenlaisiin tapauksiin.
- La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie probabiliste permettant de quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique précise. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communications publié en 1949. L'apparition de la théorie de l'information est liée à l'apparition de la psychologie cognitive dans les années 1940 - 1950. Parmi les branches importantes de la théorie de l'information de Shannon, on peut citer : le codage de l'information, la mesure quantitative de redondance d'un texte, la compression de données, la cryptographie. Dans un sens plus général, une théorie de l'information est une théorie visant à quantifier et qualifier la notion de contenu en information présent dans un ensemble de données. A ce titre, il existe une autre théorie de l'information : la théorie algorithmique de l'information, initialisée par Kolmogorov, Solomonov et Chaitin au début des années 1960. Historique La théorie de l'Information résulte initialement des travaux de Ronald Aylmer Fisher. Celui-ci, statisticien, définit formellement l'information comme égale à la valeur moyenne du carré de la dérivée du logarithme de la loi de probabilité étudiée. \mathcal{I}(\theta) \mathrm{E} \left\{\left. \left[ \frac{\partial}{\partial\theta} \ln f(X;\theta) \right]^2 \right|\theta\right\} À partir de l'inégalité de Cramer, on déduit que la valeur d'une telle information est proportionnelle à la faible variabilité des conclusions résultantes. En termes simples, moins une observation est probable, plus son observation est porteuse d'information. Par exemple, lorsque le journaliste commence le journal télévisé par la phrase "Bonsoir", ce mot, qui présente une forte probabilité, n'apporte que peu d'information. En revanche, si la première phrase est, par exemple "La France a peur", sa faible probabilité fera que l'auditeur apprendra qu'il s'est passé quelque chose, et, partant, sera plus à l'écoute. D'autres modèles mathématiques ont complété et étendu de façon formelle la définition de l'information. Claude Shannon et Warren Weaver renforcent le paradigme. Ils sont ingénieurs en télécommunication et se préoccupent de mesurer l'information pour en déduire les fondamentaux de la Communication (et non une théorie de l'information). Dans Théorie Mathématique de la Communication en 1948, ils modélisent l'information pour étudier les lois correspondantes : bruit, entropie et chaos, par analogie générale aux lois d'énergétique et de thermodynamique. Leurs travaux complétant ceux d'Alan Turing, de Norbert Wiener et de John von Neumann (pour ne citer que les principaux) constituent le socle initial de la théorie du signal et des « Sciences de l'Information ». Pour une source X comportant n symboles, un symbole i ayant une probabilité p_i d'apparaître, l'entropie H de la source X est définie comme : H(X)-\sum_i^n p_i log_2 p_i C'est au départ le logarithme népérien qui est utilisé. On le remplacera pour commodité par le logarithme à base 2, correspondant à une information qui est le bit. Les considérations d'entropie maximale permettront à l'inférence bayésienne de définir de façon rationnelle ses distributions a priori. L'informatique constituera une déclinaison technique automatisant les traitements (dont la transmission et le transport) d'information. L'appellation « Technologies de l'Information et de la Communication » recouvre les différents aspects (systèmes de traitements, réseaux, etc. ) de l'informatique au sens large. Les sciences de l'information dégagent du sens depuis des données en s'appuyant sur des questions de corrélation, d'entropie et d'apprentissage. Les technologies de l'information, quant à elles, s'occupent de la façon de concevoir, implémenter et déployer des solutions pour répondre à des besoins identifiés. Adrian Mc Donough dans Information economics définit l'information comme la rencontre d'une donnée (data) et d'un problème. La connaissance (knowledge) est une information potentielle. Le rendement informationnel d'un système de traitement de l'information est le quotient entre le nombre de bits du réservoir de données et celui de l'information extraite. Les data sont le cost side du système, l'information, le value side. Il en résulte que lorsqu'un informaticien calcule la productivité de son système par le rapport entre la quantité de données produites et le coût financier, il commet une erreur, car les deux termes de l'équation négligent la quantité d'information réellement produite. Cette remarque prend tout son sens à la lumière du grand principe de Russel Ackoff qui postule qu'au-delà d'une certaine masse de données, la quantité d'information baisse et qu'à la limite elle devient nulle. Ceci correspond à l'adage "trop d'information détruit l'information". Ce constat est aggravé lorsque le récepteur du système est un processeur humain, et pis encore, le conscient d'un agent humain. En effet, l'information est tributaire de la sélection opérée par l'attention, et par l'intervention de données affectives, émotionnelles, et structurelles absentes de l'ordinateur. L'information se transforme alors en sens, puis en motivation. Une information qui ne produit aucun sens est nulle et non avenue pour le récepteur humain, même si elle est acceptable pour un robot. Une information chargée de sens mais non irriguée par une énergie psychologique (drive, cathexis, libido, ep, etc. ) est morte. On constate donc que dans la chaîne qui mène de la donnée à l'action (données -> information -> connaissance -> sens -> motivation), seule les deux premières transformations sont prises en compte par la théorie de l'information classique et par la sémiologie. Kevin Bronstein remarque que l'automate ne définit l'information que par deux valeurs : le nombre de bits, la structure et l'organisation des sèmes, alors que le psychisme fait intervenir des facteurs dynamiques tels que passion, motivation, désir, répulsion etc. qui donnent vie à l'information psychologique. Exemples d'information Une information désigne, parmi un ensemble d'événements, un ou plusieurs événements possibles. En théorie, l'information diminue l'incertitude. En théorie de la décision, on considère même qu'il ne faut appeler information que ce qui est susceptible d'avoir un effet sur nos décisions (peu de choses dans un journal sont à ce compte des informations...). En pratique, l'excès d'information, tel qu'il se présente dans les systèmes de messagerie électronique, peut aboutir à une saturation, et empêcher la prise de décision. Premier exemple Soit une source pouvant produire des tensions entières de 1 à 10 volts et un récepteur qui va mesurer cette tension. Avant l'envoi du courant électrique par la source, le récepteur n'a aucune idée de la tension qui sera délivrée par la source. En revanche, une fois le courant émis et réceptionné, l'incertitude sur le courant émis diminue. La théorie de l'information considère que le récepteur possède une incertitude de 10 états. Second exemple Une bibliothèque possède un grand nombre d'ouvrages, des revues, des livres et des dictionnaires. Nous cherchons un cours complet sur la théorie de l'information. Tout d'abord, il est logique que nous ne trouverons pas ce dossier dans des ouvrages d'arts ou de littérature; nous venons donc d'obtenir une information qui diminuera notre temps de recherche. Nous avions précisé que nous voulions aussi un cours complet, nous ne le trouverons donc ni dans une revue, ni dans un dictionnaire. nous avons obtenu une information supplémentaire (nous cherchons un livre), qui réduira encore le temps de notre recherche. Information imparfaite Soit un réalisateur dont j'aime deux films sur trois. Un critique que je connais bien éreinte son dernier film et je sais que je partage en moyenne les analyses de ce critique quatre fois sur cinq. Cette critique me dissuadera-t-elle d'aller voir le film ? C'est là la question centrale de l'inférence bayésienne, qui se quantifie aussi en bits. Contenu d'information et contexte Il faut moins de bits pour écrire chien que mammifère. Pourtant l'indication Médor est un chien contient bien plus d'information que l'indication Médor est un mammifère : le contenu d'information sémantique d'un message dépend du contexte. En fait, c'est le couple message + contexte qui constitue le véritable porteur d'information, et jamais le message seul. Mesure de la quantité d'information Quantité d'information : cas élémentaire Considérons N boîtes numérotées de 1 à N. Un individu A a caché au hasard un objet dans une de ces boîtes. Un individu B doit trouver le numéro de la boîte où est caché l'objet. Pour cela, il a le droit de poser des questions à l'individu A auxquelles celui-ci doit répondre sans mentir par OUI ou NON. Mais chaque question posée représente un coût à payer par l'individu B (par exemple un euro). Un individu C sait dans quelle boîte est caché l'objet. Il a la possibilité de vendre cette information à l'individu B. B n'acceptera ce marché que si le prix de C est inférieur ou égal au coût moyen que B devrait dépenser pour trouver la boîte en posant des questions à A. L'information détenue par C a donc un certain prix. Ce prix représente la quantité d'information représentée par la connaissance de la bonne boîte : c'est le nombre moyen de questions à poser pour identifier cette boîte. Nous la noterons I. EXEMPLE : Si N 1, I 0. Il n'y a qu'une seule boîte. Aucune question n'est nécessaire. Si N 2, I 1. On demande si la bonne boîte est la boîte n°1. La réponse OUI ou NON détermine alors sans ambiguïté quelle est la boîte cherchée. Si N 4, I 2. On demande si la boîte porte le n°1 ou 2. La réponse permet alors d'éliminer deux des boîtes et il suffit d'une dernière question pour trouver quelle est la bonne boîte parmi les deux restantes. Si N2^k, I k. On écrit les numéros des boîtes en base 2. Les numéros ont au plus k chiffres binaires, et pour chacun des rangs de ces chiffres, on demande si la boîte cherchée possède le chiffre 0 ou le chiffre 1. En k questions, on a déterminé tous les chiffres binaires de la bonne boîte. Cela revient également à poser k questions, chaque question ayant pour but de diviser successivement le nombre de boîtes considérées par 2 (méthode de dichotomie). On est donc amené à poser I log_2(N), mais cette configuration ne se produit que dans le cas de N événements équiprobables. Quantité d'information relative à un évènement Supposons maintenant que les boîtes soient colorées, et qu'il y ait n boîtes rouges. Supposons également que C sache que la boîte où est caché l'objet est rouge. Quel est le prix de cette information? Sans cette information, le prix à payer est log(N). Muni de cette information, le prix à payer n'est plus que log(n). Le prix de l'information « la boîte cherchée est rouge » est donc log(N) - log(n) log(N/n) . On définit ainsi la quantité d'information comme une fonction croissante de \frac{N}{n} avec : N le nombre d'évènements possibles n le cardinal du sous-ensemble délimité par l'information Afin de mesurer cette quantité d'information, on pose : I log_{2} \left (\frac{N}{n} \right) I est exprimé en bit (ou logon, unité introduite par Shannon, de laquelle, dans les faits, bit est devenu un synonyme), ou bien en nat si on utilise le logarithme naturel à la place du logarithme de base 2. Cette définition se justifie, car l'on veut les propriétés suivantes : l'information est comprise entre 0 et ∞; un évènement avec peu de probabilité représente beaucoup d'information; l'information doit être additive. Remarque : lorsqu'on dispose de plusieurs informations, la quantité d'information globale n'est pas la somme des quantités d'information. Ceci est dû à la présence du logarithme. Voir aussi : information mutuelle, information commune à deux messages, qui, dans l'idée, explique cette « sous-additivité » de l'information. Entropie, formule de Shannon Supposons maintenant que les boîtes soient de diverses couleurs : n1 boîtes de couleur C1, n2 boîtes de couleur C2, ... , nk boîtes de couleurs Ck, avec n1 + n2 + ... + nk N. La personne C sait de quelle couleur est la boîte recherchée. Quel est le prix de cette information ? L'information « la boîte est de couleur C1 » vaut log N/n1, et cette éventualité a une probabilité n1/N. L'information « la boîte est de couleur C2 » vaut log N/n2, et cette éventualité a une probabilité n2/N... Le prix moyen de l'information est donc n1/N log N/n1 + n2/N log N/n2 + ... + nk/N log N/nk. Plus généralement, si on considère k évènements disjoints de probabilités respectives p1, p2, ... , pk avec p1 + p2 + ... + pk 1, alors la quantité d'information correspondant à cette distribution de probabilité est p1 log 1/p1 + ... + pk log 1/pk. Cette quantité s'appelle entropie de la distribution de probabilité. L'entropie permet donc de mesurer la quantité d'information moyenne d'un ensemble d'évènements (en particulier de messages) et de mesurer son incertitude. On la note H : H \left (I \right) - \sum_{i\in I} p_i \mathbf{log}_2\; p_i avec p_i \frac{n_i}{N} la probabilité associée à l'apparition de l'évènement i. Voir l'article détaillé : entropie de Shannon. Voir aussi une notion connexe : complexité de Kolmogorov. Codage de l'information On considère une suite de symboles. Chaque symbole peut prendre deux valeurs s1 et s2 avec des probabilités respectivement p1 0,8 et p2 0,2. La quantité d'information contenue dans un symbole est p1 log 1/p1 + p2 log 1/p2 ≈ 0,7219. Si chaque symbole est indépendant du suivant, alors un message de N symboles contient en moyenne une quantité d'information égale à 0,72N. Si le symbole s1 est codé 0 et le symbole s2 est codé 1, alors le message a une longueur de N, ce qui est une perte par rapport à la quantité d'information qu'il porte. Les théorèmes de Shannon énoncent qu'il est impossible de trouver un code dont la longueur moyenne soit inférieure à 0,72N, mais qu'il est possible de coder le message de façon à ce que le message codé ait en moyenne une longueur aussi proche que l'on veut de 0,72N lorsque N augmente. Par exemple, on regroupe les symboles trois par trois et on les code comme suit : Le message s1s1s1s1s1s2s2s2s1 sera codé 010011110. La longueur moyenne du code d'un message de N symboles est : {N \over 3}(0.512 + 3 \times 0.128 \times 3 + 3 \times 0.032 \times 5 + 0.008 \times 5) 0,728N Voir l'article détaillé : théorie des codes. Voir aussi Théorie algorithmique de l'information Autorégulation Codage de l'information Compression de données Sciences de l'information et de la communication Sciences de l'information et des bibliothèques Technologies de l'information et de la communication Théorème de Cox-Jaynes Traitement de l'information Fuite d'information Bibliographie Léon Brillouin Science et théorie de l'information. Léon Brillouin Science and information theory (typographie plus lisible, mais version en anglais) Claude Shannon A mathematical theory of communication Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948 Thomas M. Cover, Joy A. Thomas. Elements of information theory, 1st Edition. New York: Wiley-Interscience, 1991. ISBN 0-471-06259-6. Liens externes (fr) Un cours de théorie de l'information par Louis Wehenkel (fr) Un autre cours par Marie-Pierre Beal (fr) Cours sur la théorie de l'information en pdf par Nicolas Sendrier (fr) Cours sur la théorie de l'information par Gérard Pinson
- Az információelmélet az információval, mint az új ismeretté értelmezett adattal foglalkozó tudomány. Főként az információ keletkezésével, struktúrájával, kezelésével, tárolásával, elérésével és továbbításával foglalkozik. Az információelmélet ezenkívül tanulmányozza az információ különböző felhasználását, az emberek közti kommunikációt és az információs rendszereket. Az információelmélet megalapítói Samuel Morse (inkább előfutár), később Claude Shannon matematikus, hírközlési szakember. Az információelmélet az elektromos hírtovábbítás kutatása során jött létre 1948 körül. Alapítói C. Shannon, N. Wienr és A. N. Kolmogorov. Az információ latin eredetű szó, amely értesülést, hírt, adatot, üzenetet, tájékoztatást jelent. Az információelmélet szerint azonban az üzenet nem azonos az információval. Az átvitt adatmennyiség információtartalma attól függ, hogy a vétel helyén mennyire szünteti meg a bizonytalanságot. Például az alábbi hiányos sürgöny információtartalma attól függ, hogy naponta hány vonat jön: "Holnap érkezem, a …… órás vonattal, Károly. " Ha csak egy vonat érkezik, a bizonytalanság megszűnt, ha viszont naponta sok vonat jár, nagy a bizonytalanság, az üzenet információtartalma kicsi.
- La Teoria dell'informazione è quel settore dell'informatica e delle telecomunicazioni che si occupa di definire le basi teoriche su cui si fonda la scienza dell'informazione. La sua nascita è relativamente recente: essa viene solitamente fatta risalire al 1948, anno in cui Claude Shannon pubblicò Una teoria matematica della comunicazione in cui introduceva per la prima volta in modo sistematico lo studio dell'informazione e della comunicazione.
- 情報理論（じょうほうりろん、英: Information theory）は、情報・通信を数学的に論じる学問である。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日（各ビットの値は 0 か 1）と言うことができる。 情報理論の基本的な応用としては、ZIP形式（可逆圧縮）、MP3（非可逆圧縮）、DSL（伝送路符号化）などがある。この分野は、数学、統計学、計算機科学、物理学、神経生物学、電子工学などの交差する学際領域でもある。その影響は、ボイジャー計画の深宇宙探査の成功、CDの発明、携帯電話の実現、インターネットの開発、言語学や人間の知覚の研究、ブラックホールの理解など様々な事象に及んでいる。
- Informatietheorie is de wiskundige theorie die zich bezighoudt met het zo efficiënt en betrouwbaar mogelijk overdragen en opslaan van informatie via onbetrouwbare kanalen (media). Een artikel van Claude Shannon gepubliceerd in 1948 wordt algemeen gezien als de grondslag van dit vakgebied. Belangrijke resultaten van deze theorieën zijn Shannons broncoderings theorema en Shannons ruisig-kanaal (noisy- channel) coderings theorema. Informatietheorie is diep wiskundig van aard, en is verbonden met andere disciplines zoals regelsystemen, kunstmatige intelligentie, complexiteitstheorie, communicatietheorie, coderingstheorie, kansrekening, statistiek en cybernetica. Onbetrouwbaarheid van een kanaal, bijvoorbeeld behept met additieve ruis, kan er de oorzaak van zijn dat de ontvangen informatie niet gelijk is aan de verzonden informatie. We zeggen dan: het kanaal maakt fouten. Een belangrijk begrip in de informatietheorie is de kanaalcapaciteit. De kanaalcapaciteit van een onbetrouwbaar transmissiekanaal wordt gedefinieerd als de maximale hoeveelheid informatie die dat transmissiekanaal per tijdseenheid kan transporteren met arbitrair kleine foutenkans. Andere kernbegrippen in de informatietheorie zijn: zelfinformatie en conditionele zelfinformatie entropie (gemiddelde verrassingswaarde), negentropie en conditionele entropie mutuele informatie
- Informasjonsteori er en matematisk teori som tar utgangspunkt i matematisk statistikk og sannsynlighetsteori for å beskrive overføring (kommunikasjon) av informasjon i tekniske systemer. Informasjonsteorien ble grunnlagt i 1948 av matematikeren Claude Shannon. Informasjonsteorien oppsto innen ingeniørmiljøer som forsket på tekniske kommunikasjonssystemer som telefon og telegraf, hvor det er viktig at opplysningene som mottas er de samme som ble sendt ut fra avsender. Shannon, i tillegg til å gi en matematisk definisjon av informasjon, klarte å gi øvre grenser for hvor mye informasjon som er mulig å sende over støyfrie og støyete kanaler. Shannons pionerarbeide har vært svært viktig for de senere fremskrittene i informasjons- og kommunikasjonsteknologien.
- Teoria informacji - dział matematyki na pograniczu statystyki i informatyki, mający również olbrzymie znaczenie w współczesnej telekomunikacji, dotyczący przetwarzania informacji oraz jej transmisji, kompresji, kryptografii itd.
- A Teoria da informação ou Teoria matemática da comunicação é um ramo da teoria da probabilidade e da matemática estatística que lida com sistemas de comunicação, transmissão de dados, criptografia, codificação, teoria do ruído, correção de erros, compressão de dados, etc. Ela não deve ser confundida com tecnologia da informação e biblioteconomia. Claude E. Shannon (1916-2001) é conhecido como "o pai da teoria da informação". Sua teoria foi a primeira a considerar comunicação como um problema matemático rigorosamente embasado na estatística e deu aos engenheiros da comunicação um modo de determinar a capacidade de um canal de comunicação em termos de ocorrência de bits. A teoria não se preocupa com a semântica dos dados, mas pode envolver aspectos relacionados com a perda de informação na compressão e na transmissão de mensagens com ruído no canal. É geralmente aceito que a moderna disciplina da teoria da informação começou com duas publicações: a do artigo científico de Shannon intitulado Teoria Matemática da Comunicação, no Bell System Technical Journal, em julho e outubro de 1948; e do livro de Shannon em co-autoria com o também engenheiro estadunidense Warren Weaver, intitulado Teoria Matemática da Comunicação (The Mathematical Theory of Communication), e contendo reimpressões do artigo científico anterior de forma acessível também a não-especialistas - isto popularizou os conceitos.
- Теория информации (математическая теория связи) — раздел прикладной математики, определяющий понятие информации, её свойства и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, оперирует с математическими моделями, а не с реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики. Основные разделы теории информации — кодирование источника и канальное кодирование. Теория информации тесно связана с криптографией и другими смежными дисциплинами.
- Den s.k. statistiska informationsteorin grundlades i mitten av 1900-talet av Claude Shannon som en del av en kommunikationsteori han utvecklade.
- Теóрія інформáції — це розділ математики, який досліджує процеси зберігання, перетворення і передачі інформації. Теорія інформації тісно пов’язана з такими розділами математики як теорія ймовірностей і математична статистика. Вона пов’язана з інформаційною ентропією, комунікаційними системами, криптографією, корекцією помилок і іншими важливими областями.
- 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 香农(Claude Shannon)被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义： <math>H = - \sum_i p_i \log p_i</math> 这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。 信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻尔兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。 互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件<math>X</math>和<math>Y</math>的互信息定义为： <math>I(X, Y) = H(X) + H(Y) - H(X, Y)</math> 其中 <math>H(X, Y)</math> 是联合熵(Joint Entropy)，其定义为： <math>H(X, Y) = - \sum_{x, y} p(x, y) \log p(x, y)</math> 互信息与多元对数似然比检验以及皮尔森χ校验有着密切的联系。
|
![[RDF Data]](/statics/sw-cube.png)
