| p:abstract
| - Information theory is a branch of applied mathematics and electrical engineering involving the quantification of information. Historically, information theory was developed to find fundamental limits on compressing and reliably communicating data. Since its inception it has broadened to find applications in many other areas, including statistical inference, natural language processing, cryptography generally, networks other than communication networks -- as in neurobiology, the evolution and function of molecular codes, model selection in ecology, thermal physics, quantum computing, plagiarism detection and other forms of data analysis.
A key measure of information in the theory is known as information entropy, which is usually expressed by the average number of bits needed for storage or communication. Intuitively, entropy quantifies the uncertainty involved when encountering a random variable. For example, a fair coin flip (2 equally likely outcomes) will have less entropy than a roll of a die (6 equally likely outcomes).
Applications of fundamental topics of information theory include lossless data compression (e.g. ZIP files), lossy data compression (e.g. MP3s), and channel coding (e.g. for DSL lines). The field is at the intersection of mathematics, statistics, computer science, physics, neurobiology, and electrical engineering. Its impact has been crucial to the success of the Voyager missions to deep space, the invention of the CD, the feasibility of mobile phones, the development of the Internet, the study of linguistics and of human perception, the understanding of black holes, and numerous other fields. Important sub-fields of information theory are source coding, channel coding, algorithmic complexity theory, algorithmic information theory, and measures of information. (en)
- Teoría de la información es una rama de la teoría matemática de la probabilidad y la estadística que estudia la información y todo lo relacionado con ella: canales, compresión de datos, criptografía y temas relacionados.
Fue iniciada por Claude E. Shannon a través de un artículo publicado en el Bell System Technical Journal en 1948, titulado Una teoría matemática de la comunicación ( texto completo en inglés).
La información es tratada como magnitud física y para caracterizar la información de una secuencia de símbolos se utiliza la Entropía. Se parte de la idea de que los canales no son ideales, aunque muchas veces se idealicen las no linealidades, para estudiar diversos métodos para enviar información o la cantidad de información útil que se puede enviar a través de un canal.
----
*Fuentes de información
** Teorema de muestreo de Nyquist-Shannon
** Entropía
** Neguentropía
** Información mutua
* Canales
** Capacidad
*Compresión de datos
**Códigos fuente
**Códigos no-singulares
**Códigos unívocamente decodificables
***Extensión de código
**Códigos prefijo (o códigos instantáneos)
*Control de errores
**FEC
**ARQ
***Parada y espera
***Rechazo múltiple
***Rechazo selectivo
**Técnicas híbridas
***Concatenación de códigos
***Tipo 1
***Tipo 2
*Detección de errores
**Bits de redundancia
***Métodos de control de errores
****Paridad
*****Códigos autochequeo y autocorrectores
******Códigos de bloque
*******Distancia Hamming
******Paridad horizontal y vertical
****Códigos lineales
*****Códigos cíclicos
******CRC16
******CRC32
Categoría:Teoría de la información (es)
- Die Informationstheorie ist eine mathematische Theorie aus dem Bereich der Wahrscheinlichkeitstheorie und Statistik, die auf Claude Shannon zurückgeht.
Sie beschäftigt sich mit Begriffen wie Information, Entropie, Informationsübertragung, Datenkompression, Kodierung und verwandten Themen.
Neben der Mathematik, Informatik und Nachrichtentechnik wird die theoretische Betrachtung von Kommunikation durch die Informationstheorie auch zur Beschreibung von Kommunikationssystemen in anderen Bereichen (Medien in der Publizistik, Nervensystem in der Neurologie, DNA und Proteinsequenzen in der Molekularbiologie, Wissen in der Informationswissenschaft und Dokumentation) etc. eingesetzt.
Die Shannonsche Theorie verwendet den Begriff der Entropie, um die Informationsdichte (Informationsgehalt) von Nachrichten zu charakterisieren. Je ungleichförmiger eine Nachricht aufgebaut ist, desto höher ist ihre Entropie. Grundlegend für die Informationstheorie ist neben dem Entropiebegriff das Shannon-Hartley-Gesetz, nach Claude Elwood Shannon und Ralph Hartley, welches die theoretische Obergrenze der Kanalkapazität, das ist die maximale Datenübertragungsrate ohne Übertragungsfehler, eines Übertragungskanals in Abhängigkeit von Bandbreite und Signal-zu-Rausch-Verhältnis beschreibt. (de)
- Informaatioteoria on sovelletun matematiikan osa-alue, joka tutkii tapoja siirtää informaatiota. Informaatioteoria pohjaa Claude Shannonin vuonna 1948 julkaisemaan tutkimukseen ”A Mathematical Theory of Communication”.
Informaatioteoriaa sovelletaan etenkin tiedonpakkauksessa ja tietoliikenteessä, mutta myös muun muassa molekyylibiologiassa. Informaatioteoria antaa useita perustavia ja eri aloille yleistettäviä tuloksia viestinnän vaatimuksista ja rajoituksista.
Informaatioteorian perusmallissa on lähetin, joka koodaa lähetettävän informaation, häiriötä aiheuttava kanava, jonka kautta informaatio lähetetään, ja vastaanotin, joka purkaa koodatun ja kanavan korruptoiman informaation. Informaatioteoria pyrkii selvittämään mahdollisimman lyhyen koodaustavan lähettää informaatiota luotettavasti kanavan läpi. Yksinkertaisuutensa vuoksi malli soveltuu monenlaisiin tapauksiin. (fi)
- La théorie de l'information se préoccupe des systèmes d'information, des systèmes de communication et de leur efficacité. La notion de système d'information ou de communication étant large, il en va de même de la théorie de l'information.
Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communications publié en 1948.
Parmi les branches importantes, on peut citer :
* le codage de l'information,
* la mesure quantitative de redondance d'un texte,
* la compression de données,
* la cryptographie.
La force de cette théorie est de ne pas chercher à définir la notion d'information, tout comme l'arithmétique ne définit pas ce qu'est un nombre.
L'apparition de la théorie de l'information est liée à l'apparition de la psychologie cognitive dans les années 1940 - 1950. (fr)
- La Teoria dell'informazione è quel settore dell'informatica e delle telecomunicazioni che si occupa di definire le basi teoriche su cui si fonda la scienza dell'informazione. La sua nascita è relativamente recente: essa viene solitamente fatta risalire al 1948, anno in cui Claude Shannon pubblicò Una teoria matematica della comunicazione in cui introduceva per la prima volta in modo sistematico lo studio dell'informazione e della comunicazione. (it)
- 情報理論（じょうほうりろん、英：Information theory）は、情報・通信を数学的に論じる学問である。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日（各ビットの値は 0 か 1）と言うことができる。
情報理論の基本的な応用としては、ZIP形式（可逆圧縮）、MP3（非可逆圧縮）、DSL（伝送路符号化）などがある。この分野は、数学、統計学、計算機科学、物理学、神経生物学、電子工学などの交差する学際領域でもある。その影響は、ボイジャー計画の深宇宙探査の成功、CDの発明、携帯電話の実現、インターネットの開発、言語学や人間の知覚の研究、ブラックホールの理解など様々な事象に及んでいる。 (ja)
- Informatietheorie is de wiskundige theorie die zich bezighoudt met het zo efficiënt en betrouwbaar mogelijk overdragen en opslaan van informatie via onbetrouwbare kanalen (media). Een artikel van Claude Shannon gepubliceerd in 1948 wordt algemeen gezien als de grondslag van dit vakgebied. Belangrijke resultaten van deze theorieën zijn Shannons broncoderings theorema en Shannons ruisig-kanaal (noisy- channel) coderings theorema. Informatietheorie is diep wiskundig van aard, en is verbonden met andere disciplines zoals regelsystemen, kunstmatige intelligentie, complexiteitstheorie, communicatietheorie, coderingstheorie, kansrekening, statistiek en cybernetica.
Onbetrouwbaarheid van een kanaal, bijvoorbeeld behept met additieve ruis, kan er de oorzaak van zijn dat de ontvangen informatie niet gelijk is aan de verzonden informatie. We zeggen dan: het kanaal maakt fouten. Een belangrijk begrip in de informatietheorie is de kanaalcapaciteit. De kanaalcapaciteit van een onbetrouwbaar transmissiekanaal wordt gedefinieerd als de maximale hoeveelheid informatie die dat transmissiekanaal per tijdseenheid kan transporteren met arbitrair kleine foutenkans.
Andere kernbegrippen in de informatietheorie zijn:
*zelfinformatie en conditionele zelfinformatie
*entropie (gemiddelde verrassingswaarde) en conditionele entropie
*mutuele informatie (nl)
- Informasjonsteori er en matematisk teori som tar utgangspunkt i matematisk statistikk og sannsynlighetsteori for å beskrive overføring (kommunikasjon) av informasjon i tekniske systemer. Informasjonsteorien ble grunnlagt i 1948 av matematikeren Claude Shannon.
Informasjonsteorien oppsto innen ingeniørmiljøer som forsket på tekniske kommunikasjonssystemer som telefon og telegraf, hvor det er viktig at opplysningene som mottas er de samme som ble sendt ut fra avsender. Shannon, i tillegg til å gi en matematisk definisjon av informasjon, klarte å gi øvre grenser for hvor mye informasjon som er mulig å sende over støyfrie og støyete kanaler. Shannons pionerarbeide har vært svært viktig for de senere fremskrittene i informasjons- og kommunikasjonsteknologien. (no)
- Teoria informacji - dział matematyki na pograniczu statystyki i informatyki, mający również olbrzymie znaczenie w współczesnej telekomunikacji, dotyczący przetwarzania informacji oraz jej transmisji, kompresji, kryptografii itd. (pl)
- A Teoria da informação ou Teoria matemática da comunicação é um ramo da teoria da probabilidade e da matemática estatística que lida com sistemas de comunicação, transmissão de dados, criptografia, codificação, teoria do ruído, correção de erros, compressão de dados, etc. Ela não deve ser confundida com tecnologia da informação e biblioteconomia.
Claude E. Shannon (1916-2001) é conhecido como "o pai da teoria da informação". Sua teoria foi a primeira a considerar comunicação como um problema matemático rigorosamente embasado na estatística e deu aos engenheiros da comunicação um modo de determinar a capacidade de um canal de comunicação em termos de ocorrência de bits. A teoria não se preocupa com a semântica dos dados, mas pode envolver aspectos relacionados com a perda de informação na compressão e na transmissão de mensagens com ruído no canal.
É geralmente aceito que a moderna disciplina da teoria da informação
começou com duas publicações: a do artigo científico de Shannon intitulado Teoria Matemática da Comunicação ( "A Mathematical Theory of Communication"), no Bell System Technical Journal, em julho e outubro de 1948; e do livro de Shannon em co-autoria com o também matemático estadunidense Warren Weaver (1894-1978), intitulado Teoria Matemática da Comunicação (The Mathematical Theory of Communication), e contendo reimpressões do artigo científico anterior de forma acessível também a não-especialistas - isto popularizou os conceitos. (pt)
- Теория информации — это ветвь теории вероятностей и математической статистики, определяющая понятие информации.
Теория информации связана с информационной энтропией, коммуникационными системами , передачей данных и теорией скорости искажения, криптографией, сжатием данных, коррекцией ошибок и другими смежными областями. (ru)
- Den s.k. statistiska informationsteorin grundlades i mitten av 1900-talet av Claude Shannon som en del av en kommunikationsteori han utvecklade. (sv)
- 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了信息熵（以下简称为“熵”）的定义：
:H = - \sum_i p_i \log p_i
这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。
信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。
互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：
:I(X, Y) = H(X) + H(Y) - H(X, Y)
其中 H(X, Y) 是联合熵(Joint Entropy)，其定义为：
:H(X, Y) = - \sum_{x, y} p(x, y) \log p(x, y)
互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。 (zh)
|
| rdfs:comment
| - Information theory is a branch of applied mathematics and electrical engineering involving the quantification of information. Historically, information theory was developed to find fundamental limits on compressing and reliably communicating data. (en)
- Teoría de la información es una rama de la teoría matemática de la probabilidad y la estadística que estudia la información y todo lo relacionado con ella: canales, compresión de datos, criptografía y temas relacionados. (es)
- Die Informationstheorie ist eine mathematische Theorie aus dem Bereich der Wahrscheinlichkeitstheorie und Statistik, die auf Claude Shannon zurückgeht. (de)
- Informaatioteoria on sovelletun matematiikan osa-alue, joka tutkii tapoja siirtää informaatiota. Informaatioteoria pohjaa Claude Shannonin vuonna 1948 julkaisemaan tutkimukseen ”A Mathematical Theory of Communication”. (fi)
- La théorie de l'information se préoccupe des systèmes d'information, des systèmes de communication et de leur efficacité. La notion de système d'information ou de communication étant large, il en va de même de la théorie de l'information. (fr)
- La Teoria dell'informazione è quel settore dell'informatica e delle telecomunicazioni che si occupa di definire le basi teoriche su cui si fonda la scienza dell'informazione. La sua nascita è relativamente recente: essa viene solitamente fatta risalire al 1948, anno in cui Claude Shannon pubblicò Una teoria matematica della comunicazione in cui introduceva per la prima volta in modo sistematico lo studio dell'informazione e della comunicazione. (it)
- 情報理論（じょうほうりろん、英：Information theory）は、情報・通信を数学的に論じる学問である。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日（各ビットの値は 0 か 1）と言うことができる。 (ja)
- Informatietheorie is de wiskundige theorie die zich bezighoudt met het zo efficiënt en betrouwbaar mogelijk overdragen en opslaan van informatie via onbetrouwbare kanalen (media). Een artikel van Claude Shannon gepubliceerd in 1948 wordt algemeen gezien als de grondslag van dit vakgebied. Belangrijke resultaten van deze theorieën zijn Shannons broncoderings theorema en Shannons ruisig-kanaal (noisy- channel) coderings theorema. (nl)
- Informasjonsteori er en matematisk teori som tar utgangspunkt i matematisk statistikk og sannsynlighetsteori for å beskrive overføring (kommunikasjon) av informasjon i tekniske systemer. Informasjonsteorien ble grunnlagt i 1948 av matematikeren Claude Shannon. (no)
- Teoria informacji - dział matematyki na pograniczu statystyki i informatyki, mający również olbrzymie znaczenie w współczesnej telekomunikacji, dotyczący przetwarzania informacji oraz jej transmisji, kompresji, kryptografii itd. (pl)
- A Teoria da informação ou Teoria matemática da comunicação é um ramo da teoria da probabilidade e da matemática estatística que lida com sistemas de comunicação, transmissão de dados, criptografia, codificação, teoria do ruído, correção de erros, compressão de dados, etc. Ela não deve ser confundida com tecnologia da informação e biblioteconomia. (pt)
- Теория информации — это ветвь теории вероятностей и математической статистики, определяющая понятие информации. (ru)
- Den s.k. statistiska informationsteorin grundlades i mitten av 1900-talet av Claude Shannon som en del av en kommunikationsteori han utvecklade. (sv)
- 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 (zh)
|
![[RDF Data]](http://dbpedia.org/statics/sw-cube.png)
