Information theory studies the quantification, storage, and communication of information. It was originally proposed by Claude E. Shannon in 1948 to find fundamental limits on signal processing and communication operations such as data compression, in a landmark paper entitled "A Mathematical Theory of Communication". Now this theory has found applications in many other areas, including statistical inference, natural language processing, cryptography, neurobiology, the evolution and function of molecular codes, model selection in ecology, thermal physics, quantum computing, linguistics, plagiarism detection, pattern recognition, and anomaly detection.

Property Value
dbo:abstract
  • Information theory studies the quantification, storage, and communication of information. It was originally proposed by Claude E. Shannon in 1948 to find fundamental limits on signal processing and communication operations such as data compression, in a landmark paper entitled "A Mathematical Theory of Communication". Now this theory has found applications in many other areas, including statistical inference, natural language processing, cryptography, neurobiology, the evolution and function of molecular codes, model selection in ecology, thermal physics, quantum computing, linguistics, plagiarism detection, pattern recognition, and anomaly detection. A key measure in information theory is "entropy". Entropy quantifies the amount of uncertainty involved in the value of a random variable or the outcome of a random process. For example, identifying the outcome of a fair coin flip (with two equally likely outcomes) provides less information (lower entropy) than specifying the outcome from a roll of a die (with six equally likely outcomes). Some other important measures in information theory are mutual information, channel capacity, error exponents, and relative entropy. Applications of fundamental topics of information theory include lossless data compression (e.g. ZIP files), lossy data compression (e.g. MP3s and JPEGs), and channel coding (e.g. for Digital Subscriber Line (DSL)). The field is at the intersection of mathematics, statistics, computer science, physics, neurobiology, and electrical engineering. Its impact has been crucial to the success of the Voyager missions to deep space, the invention of the compact disc, the feasibility of mobile phones, the development of the Internet, the study of linguistics and of human perception, the understanding of black holes, and numerous other fields. Important sub-fields of information theory include source coding, channel coding, algorithmic complexity theory, algorithmic information theory, information-theoretic security, and measures of information. (en)
  • نظرية المعلومات Information theory أحد تخصصات وفروع الرياضيات التطبيقية الذي يتضمن كمية Quantification (التحويل إلى كميات) البيانات بهدف تمكين نقل أو تخزين البيانات ضمن وسط ما أو نقلها عبر قناة اتصال ما بأكبر قدر ممكن. قياس المعلومات يعرف عادة بإنتروبية المعلومات وهو عبارة عن العدد الوسطي من البتات (متوسط عدد النبضات الثنائية) اللازم للتخزين أو الاتصال. مثلا، إذا كان وصف الطقس اليومي له إنتروبية بمقدار 3، فذا يعني انه على مدى عدد كاف من الأيام يمكننا وصف الطقس اليومي يمعدل 3 بتات (نبضات ثنائية) لليوم الواحد. تطبيقات نظرية المعلومات الأساسية تتضمن : ضغط البيانات غير المنقوص lossless data compression : مثلا زيب (صيغة ملفات) ZIP، ضغط البيانات المنقوص Lossy compression مثل إم.بي.ثري MP3، تشفير قنوات نقل البيانات وسعاتها channel capacity مثل خطوط دي.إس.إل DSL. يقع هذا الفرع عند حدود الرياضيات والإحصاء، وعلوم الحاسب والفيزياء والنيوروبيولوجيا والهندسة الكهربائية. تطبيقاتها كانت أساسية في نجاح مهمات فوياجير الفضائية، واختراع سي.دي CD، وتطبيقات الهاتف المحمول، وتطور الإنترنت. وحتى دراسة اللسانيات والاستشعار الإنساني، وأيضا فهم ظاهرة الثقوب السوداء وغيرها من الحقول والتطبيقات العلمية. (ar)
  • Die Informationstheorie ist eine mathematische Theorie aus dem Bereich der Wahrscheinlichkeitstheorie und Statistik, die auf Claude Elwood Shannon zurückgeht. Sie beschäftigt sich mit Begriffen wie Information, Entropie, Informationsübertragung, Datenkompression, Kodierung und verwandten Themen. Neben der Mathematik, Informatik und Nachrichtentechnik wird die theoretische Betrachtung von Kommunikation durch die Informationstheorie auch zur Beschreibung von Kommunikationssystemen in anderen Bereichen (Medien in der Publizistik, Nervensystem in der Neurologie, DNA und Proteinsequenzen in der Molekularbiologie, Wissen in der Informationswissenschaft und Dokumentation etc.) eingesetzt. Die Shannonsche Theorie verwendet den Begriff der Entropie, um den Informationsgehalt (auch Informationsdichte genannt) von Nachrichten zu charakterisieren. Je ungleichförmiger eine Nachricht aufgebaut ist, desto höher ist ihre Entropie. Grundlegend für die Informationstheorie ist neben dem Entropiebegriff das Shannon-Hartley-Gesetz, nach Claude Elwood Shannon und Ralph Hartley. Es beschreibt die theoretische Obergrenze der Kanalkapazität, also die maximale Datenübertragungsrate, die ein Übertragungskanal in Abhängigkeit von Bandbreite und Signal-zu-Rausch-Verhältnis ohne Übertragungsfehler erreicht. (de)
  • La teoría de la información, también conocida como teoría matemática de la comunicación (Inglés: mathematical theory of communication) o teoría matemática de la información, es una propuesta teórica presentada por Claude E. Shannon y Warren Weaver a finales de la década de los años 1940. Esta teoría está relacionada con las leyes matemáticas que rigen la transmisión y el procesamiento de la información y se ocupa de la medición de la información y de la representación de la misma, así como también de la capacidad de los sistemas de comunicación para transmitir y procesar información. La teoría de la información es una rama de la teoría matemática y de las ciencias de la computación que estudia la información y todo lo relacionado con ella: canales, compresión de datos y criptografía, entre otros. (es)
  • La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie probabiliste permettant de quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique précise. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communications publié en 1948. Parmi les branches importantes de la théorie de l'information de Shannon, on peut citer : * le codage de l'information, * la mesure quantitative de redondance d'un texte, * la compression de données, * la cryptographie. Dans un sens plus général, une théorie de l'information est une théorie visant à quantifier et qualifier la notion de contenu en information présent dans un ensemble de données. À ce titre, il existe une autre théorie de l'information : la théorie algorithmique de l'information, créée par Kolmogorov, Solomonov et Chaitin au début des années 1960. (fr)
  • La teoria dell'informazione è una disciplina dell'informatica e delle telecomunicazioni che ha come scopo la quantificazione della quantità di dati (ossia di informazione) in relazione alla loro memorizzazione o trasmissione su un canale in modo affidabile. La grandezza che misura la quantità di dati prende il nome di entropia ed è solitamente espressa come numero di bit necessari per immagazzinare o trasmettere l'informazione. Ad esempio, se un alfabeto ha un'entropia pari a 4 bit, allora, preso un numero sufficiente di parole costruite con tale alfabeto, in media sono necessari 4 bit per rappresentare ogni lettera. L'applicazione dei concetti fondamentali della teoria dell'informazione include la compressione senza perdite dei file (es. zip), la codifica con perdita (es. mp3) e le modulazioni digitali utilizzate nelle trasmissioni ethernet. La teoria dell'informazione si pone a metà strada tra la matematica applicata, la statistica, la fisica applicata, le telecomunicazioni e l'informatica. Il suo impatto è stato fondamentale nelle missioni spaziali, nell'invenzione del CD, dei telefonini, di Internet, nello studio della linguistica ed in numerosissimi altri campi. (it)
  • 情報理論(じょうほうりろん、英: Information theory)は、情報・通信を数学的に論じる学問である。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日(各ビットの値は 0 か 1)と言うことができる。 情報理論の基本的な応用としては、ZIP形式(可逆圧縮)、MP3(非可逆圧縮)、DSL(伝送路符号化)などがある。この分野は、数学、統計学、計算機科学、物理学、神経科学、電子工学などの交差する学際領域でもある。その影響は、ボイジャー計画の深宇宙探査の成功、CDの発明、携帯電話の実現、インターネットの開発、言語学や人間の知覚の研究、ブラックホールの理解など様々な事象に及んでいる。 (ja)
  • Informatietheorie is de wiskundige theorie die zich bezighoudt met het zo efficiënt en betrouwbaar mogelijk overdragen en opslaan van informatie via onbetrouwbare kanalen (media). Een artikel van Claude Shannon gepubliceerd in 1948 wordt algemeen gezien als de grondslag van dit vakgebied. Belangrijke resultaten van deze theorieën zijn Shannons broncoderings theorema en Shannons ruisig-kanaal (noisy- channel) coderings theorema. Informatietheorie is diep wiskundig van aard, en is verbonden met andere disciplines zoals regelsystemen, kunstmatige intelligentie, complexiteitstheorie, communicatietheorie, coderingstheorie, kansrekening, statistiek en cybernetica. Onbetrouwbaarheid van een kanaal, bijvoorbeeld behept met additieve ruis, kan er de oorzaak van zijn dat de ontvangen informatie niet gelijk is aan de verzonden informatie. We zeggen dan: het kanaal maakt fouten. Een belangrijk begrip in de informatietheorie is de kanaalcapaciteit. De kanaalcapaciteit van een onbetrouwbaar transmissiekanaal wordt gedefinieerd als de maximale hoeveelheid informatie die dat transmissiekanaal per tijdseenheid kan transporteren met arbitrair kleine foutenkans. Andere kernbegrippen in de informatietheorie zijn: * zelfinformatie en conditionele zelfinformatie * entropie (gemiddelde verrassingswaarde), negentropie en conditionele entropie * mutuele informatie (nl)
  • Teoria informacji – dyscyplina zajmująca się problematyką informacji oraz metodami przetwarzania informacji, np. w celu transmisji lub kompresji. Naukowo teoria informacji jest blisko powiązana z matematyką dyskretną, a z jej osiągnięć czerpią takie dyscypliny jak informatyka i telekomunikacja. (pl)
  • A Teoria da informação ou Teoria matemática da comunicação é um ramo da teoria da probabilidade e da matemática estatística que lida com sistemas de comunicação, transmissão de dados, criptografia, codificação, teoria do ruído, correção de erros, compressão de dados, etc. Ela não deve ser confundida com tecnologia da informação e biblioteconomia. Claude Shannon (1916-2001) é conhecido como "o pai da teoria da informação". Sua teoria foi a primeira a considerar comunicação como um problema matemático rigorosamente embasado na estatística e deu aos engenheiros da comunicação um modo de determinar a capacidade de um canal de comunicação em termos de ocorrência de bits. A teoria não se preocupa com a semântica dos dados, mas pode envolver aspectos relacionados com a perda de informação na compressão e na transmissão de mensagens com ruído no canal. É geralmente aceito que a moderna disciplina da teoria da informaçãocomeçou com duas publicações: a do artigo científico de Shannon intitulado Teoria Matemática da Comunicação ("A Mathematical Theory of Communication"), no Bell System Technical Journal, em julho e outubro de 1948; e do livro de Shannon em co-autoria com o também engenheiro estadunidense Warren Weaver (1894-1978), intitulado Teoria Matemática da Comunicação (The Mathematical Theory of Communication), e contendo reimpressões do artigo científico anterior de forma acessível também a não-especialistas - isto popularizou os conceitos. (pt)
  • Теория информации — раздел прикладной математики, радиотехники (теория обработки сигналов) и информатики, относящийся к измерению количества информации, её свойств и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, теория, оперирует математическими моделями, а не реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики. Основные разделы теории информации — кодирование источника (сжимающее кодирование) и канальное (помехоустойчивое) кодирование. Теория информации тесно связана с информационной энтропией, коммуникационными системами, криптографией и другими смежными дисциплинами. (ru)
  • 信息论(英语:information theory)是应用数学、電機工程學和计算机科学的一个分支,涉及信息的量化。信息论是由克劳德·香农发展,用来找出信号处理操作的基本限制,如数据压缩、可靠的存储和数据传输的。自创立以来,它已拓展应用到许多其他领域,包括统计推断、自然语言处理、密码学、神经生物学、进化论和分子编码的功能、生态学的模式选择、热物理、量子计算、语言学、剽窃检测、模式识别、异常检测和其他形式的数据分析。 熵是信息的一个关键度量,通常用一条消息中需要存储或传输一个符号的平均比特数来表示。熵衡量了预测随机变量的值时涉及到的不确定度的量。例如,指定擲硬幣的结果(两个等可能的结果)比指定掷骰子的结果(六个等可能的结果)所提供的信息量更少(熵更少)。 信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信道编码定理、信源-信道隔离定理相互联系。 信息论的基本内容的应用包括无损数据压缩(如ZIP文件)、有损数据压缩(如MP3和JPEG)、信道编码(如数字用户线路(DSL))。这个领域处在数学、统计学、计算机科学、物理学、神经科学和電機工程學的交叉点上。信息论对航海家深空探测任务的成败,光盘的发明,手机的可行性,互联网的发展,语言学和人类感知的研究,对黑洞的了解,和许多其他领域都影响深远。信息论的重要子领域有信源编码、信道编码、算法复杂性理论、算法信息论、資訊理論安全性和信息度量。 (zh)
dbo:wikiPageExternalLink
dbo:wikiPageID
  • 14773 (xsd:integer)
dbo:wikiPageRevisionID
  • 744805671 (xsd:integer)
dbp:id
  • p/i051040
dbp:title
  • Information
dct:subject
http://purl.org/linguistics/gold/hypernym
rdf:type
rdfs:comment
  • 情報理論(じょうほうりろん、英: Information theory)は、情報・通信を数学的に論じる学問である。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日(各ビットの値は 0 か 1)と言うことができる。 情報理論の基本的な応用としては、ZIP形式(可逆圧縮)、MP3(非可逆圧縮)、DSL(伝送路符号化)などがある。この分野は、数学、統計学、計算機科学、物理学、神経科学、電子工学などの交差する学際領域でもある。その影響は、ボイジャー計画の深宇宙探査の成功、CDの発明、携帯電話の実現、インターネットの開発、言語学や人間の知覚の研究、ブラックホールの理解など様々な事象に及んでいる。 (ja)
  • Teoria informacji – dyscyplina zajmująca się problematyką informacji oraz metodami przetwarzania informacji, np. w celu transmisji lub kompresji. Naukowo teoria informacji jest blisko powiązana z matematyką dyskretną, a z jej osiągnięć czerpią takie dyscypliny jak informatyka i telekomunikacja. (pl)
  • Information theory studies the quantification, storage, and communication of information. It was originally proposed by Claude E. Shannon in 1948 to find fundamental limits on signal processing and communication operations such as data compression, in a landmark paper entitled "A Mathematical Theory of Communication". Now this theory has found applications in many other areas, including statistical inference, natural language processing, cryptography, neurobiology, the evolution and function of molecular codes, model selection in ecology, thermal physics, quantum computing, linguistics, plagiarism detection, pattern recognition, and anomaly detection. (en)
  • نظرية المعلومات Information theory أحد تخصصات وفروع الرياضيات التطبيقية الذي يتضمن كمية Quantification (التحويل إلى كميات) البيانات بهدف تمكين نقل أو تخزين البيانات ضمن وسط ما أو نقلها عبر قناة اتصال ما بأكبر قدر ممكن. قياس المعلومات يعرف عادة بإنتروبية المعلومات وهو عبارة عن العدد الوسطي من البتات (متوسط عدد النبضات الثنائية) اللازم للتخزين أو الاتصال. مثلا، إذا كان وصف الطقس اليومي له إنتروبية بمقدار 3، فذا يعني انه على مدى عدد كاف من الأيام يمكننا وصف الطقس اليومي يمعدل 3 بتات (نبضات ثنائية) لليوم الواحد. (ar)
  • Die Informationstheorie ist eine mathematische Theorie aus dem Bereich der Wahrscheinlichkeitstheorie und Statistik, die auf Claude Elwood Shannon zurückgeht. Sie beschäftigt sich mit Begriffen wie Information, Entropie, Informationsübertragung, Datenkompression, Kodierung und verwandten Themen. (de)
  • La teoría de la información, también conocida como teoría matemática de la comunicación (Inglés: mathematical theory of communication) o teoría matemática de la información, es una propuesta teórica presentada por Claude E. Shannon y Warren Weaver a finales de la década de los años 1940. Esta teoría está relacionada con las leyes matemáticas que rigen la transmisión y el procesamiento de la información y se ocupa de la medición de la información y de la representación de la misma, así como también de la capacidad de los sistemas de comunicación para transmitir y procesar información. La teoría de la información es una rama de la teoría matemática y de las ciencias de la computación que estudia la información y todo lo relacionado con ella: canales, compresión de datos y criptografía, entre (es)
  • La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie probabiliste permettant de quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique précise. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le père fondateur avec son article A Mathematical Theory of Communications publié en 1948. Parmi les branches importantes de la théorie de l'information de Shannon, on peut citer : (fr)
  • La teoria dell'informazione è una disciplina dell'informatica e delle telecomunicazioni che ha come scopo la quantificazione della quantità di dati (ossia di informazione) in relazione alla loro memorizzazione o trasmissione su un canale in modo affidabile. (it)
  • Informatietheorie is de wiskundige theorie die zich bezighoudt met het zo efficiënt en betrouwbaar mogelijk overdragen en opslaan van informatie via onbetrouwbare kanalen (media). Een artikel van Claude Shannon gepubliceerd in 1948 wordt algemeen gezien als de grondslag van dit vakgebied. Belangrijke resultaten van deze theorieën zijn Shannons broncoderings theorema en Shannons ruisig-kanaal (noisy- channel) coderings theorema. Informatietheorie is diep wiskundig van aard, en is verbonden met andere disciplines zoals regelsystemen, kunstmatige intelligentie, complexiteitstheorie, communicatietheorie, coderingstheorie, kansrekening, statistiek en cybernetica. (nl)
  • A Teoria da informação ou Teoria matemática da comunicação é um ramo da teoria da probabilidade e da matemática estatística que lida com sistemas de comunicação, transmissão de dados, criptografia, codificação, teoria do ruído, correção de erros, compressão de dados, etc. Ela não deve ser confundida com tecnologia da informação e biblioteconomia. (pt)
  • Теория информации — раздел прикладной математики, радиотехники (теория обработки сигналов) и информатики, относящийся к измерению количества информации, её свойств и устанавливающий предельные соотношения для систем передачи данных. Как и любая математическая теория, теория, оперирует математическими моделями, а не реальными физическими объектами (источниками и каналами связи). Использует, главным образом, математический аппарат теории вероятностей и математической статистики. (ru)
  • 信息论(英语:information theory)是应用数学、電機工程學和计算机科学的一个分支,涉及信息的量化。信息论是由克劳德·香农发展,用来找出信号处理操作的基本限制,如数据压缩、可靠的存储和数据传输的。自创立以来,它已拓展应用到许多其他领域,包括统计推断、自然语言处理、密码学、神经生物学、进化论和分子编码的功能、生态学的模式选择、热物理、量子计算、语言学、剽窃检测、模式识别、异常检测和其他形式的数据分析。 熵是信息的一个关键度量,通常用一条消息中需要存储或传输一个符号的平均比特数来表示。熵衡量了预测随机变量的值时涉及到的不确定度的量。例如,指定擲硬幣的结果(两个等可能的结果)比指定掷骰子的结果(六个等可能的结果)所提供的信息量更少(熵更少)。 信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信道编码定理、信源-信道隔离定理相互联系。 (zh)
rdfs:label
  • Information theory (en)
  • نظرية المعلومات (ar)
  • Informationstheorie (de)
  • Teoría de la información (es)
  • Théorie de l'information (fr)
  • Teoria dell'informazione (it)
  • 情報理論 (ja)
  • Informatietheorie (nl)
  • Teoria informacji (pl)
  • Teoria da informação (pt)
  • Теория информации (ru)
  • 信息论 (zh)
owl:differentFrom
owl:sameAs
skos:closeMatch
prov:wasDerivedFrom
foaf:isPrimaryTopicOf
is dbo:academicDiscipline of
is dbo:field of
is dbo:knownFor of
is dbo:mainInterest of
is dbo:nonFictionSubject of
is dbo:wikiPageDisambiguates of
is dbo:wikiPageRedirects of
is dbp:knownFor of
is owl:differentFrom of
is foaf:primaryTopic of