| dbpprop:abstract
|
- The principle of maximum entropy is a postulate about a universal feature of any probability assignment on a given set of propositions. Let some testable information about a probability distribution function be given. Consider the set of all trial probability distributions that encode this information. Then, the probability distribution that maximizes the information entropy is the true probability distribution with respect to the testable information prescribed. Jaynes' principle should not be confused with Law of Maximum Entropy Production due to Swenson which refers to physical thermodynamic entropy which Jaynes himself made a point of distinguishing from the "information entropy" he used for his methodology of statistical inference of primary use when direct physical experimental methods are not easily available or testable information is incomplete.
- Die Maximum-Entropie-Methode oder MEM ist eine Methode der Bayesischen Statistik, die erlaubt, trotz mangelhafter problemspezifischer Information eine a-priori-Wahrscheinlichkeit zuzuweisen. Sie ersetzt frühere Ansätze wie etwa das von Laplace formulierte „Prinzip vom unzureichenden Grunde“.
- Le principe d'entropie maximale consiste lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à : identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc) choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon. Ce choix n'a rien d'arbitraire : de toutes ces distributions, c'est - par définition de l'entropie - celle d'entropie maximale qui contient le moins d'information, et elle est donc pour cette raison la moins arbitraire de toutes celles que l'on pourrait utiliser. La distribution de probabilité obtenue sert ensuite de probabilité a priori dans un processus classique d'inférence bayésienne
- 最大エントロピー原理（さいだいエントロピーげんり、英: Principle of maximum entropy）は、認識確率分布を一意に定めるために利用可能な情報を分析する手法である。 情報理論の父と呼ばれるクロード・シャノンは、確率分布 H(p) = −∑ pi log pi をエントロピーと呼んだ。最大エントロピー原理ではこれを尺度として確率分布をランク分けする。すなわち、情報の符号化に最も偏向の少ない分布を用いることでシャノンのエントロピー H(p) が最大化され、情報の一貫性も保たれる。 この原理を最初に提唱したのは E.T. Jaynes である。彼は1957年に統計力学のギブズ分布を持ち込んだ熱力学（en:Maximum entropy thermodynamics）を提唱した際に、この原理も提唱したものである。彼は、熱力学やエントロピーは、情報理論や推定の汎用ツールの応用例と見るべきだと示唆した。 他のベイズ的手法と同様、最大エントロピー原理でも事前確率を明示的に利用する。これは古典的統計学における推定手法の代替である。
- O desenvolvimento do método Máxima Entropia (ME) ocorreu através de duas linhas de pesquisa: Inferência Estatística (Bernoulli, Bayes, Laplace, Jeffreys, Cox) e modelagem estatística de problemas em mecânica, física e de informação (Maxwell, Boltzmann, Gibbs, Shannon). O objetivo da primeira linha de investigação é a de formular uma teoria/metodologia que permite a compreensão das características gerais de um sistema de informação parcial e incompleto. Na segunda linha de investigação, este mesmo objectivo é expresso na forma de determinar como atribuir valores numéricos (iniciais) das probabilidades quando apenas algumas quantidades globais limitadas (teoricamente) do sistema investigados são conhecidas. O reconhecimento dos objetivos básicos comuns destas duas linhas de pesquisa auxiliou Jaynes no desenvolvimento do seu trabalho clássico, de formalização da Máxima Entropia. Isto é, a formalização da ME foi baseada na filosofia da primeira linha de investigação e na matemática da segunda linha de investigação. Jaynes mostrou que maximizar estatisticamente a entropia (mecânica) com a finalidade de revelar o modo como as moléculas de gás estavam distribuídas seria equivalente à simples maximização da entropia (de informação) de Shannon com informação mecânica estatisticamente. O método foi correto para atribuir probabilidades independentemente das especificidades da informação. Esta ideia conduziu a Máxima Entropia ou à utilização do Método da Máxima Entropia para atribuir probabilidades. Este método tem evoluído para um método mais geral, o método de Máxima Entropia relativa (MEr), que tem a vantagem de não só atribuir probabilidades, mas atualizá-las quando nova informação é dada sob a forma de restrições sobre os probabilidades. A ME pode ser aplicada para análise de uma grande variedade de problemas na maioria das disciplinas da ciência. por exemplo, trabalhos sobre a reconstrução de imagem e análise espectral em medicina, física, química, biologia, topografia, engenharia, comunicação e informação, investigação de operações, ciência política e economia (tomografia, imagens de satélite, motores de busca, matriz insumo-produto, métodos tipo GMM, modelagem de dados em econometria); a investigação em estimação e inferência estatística (métodos Bayesianos e não Bayesianos); e inovações em curso no processamento de informação e de TI.
|
| rdfs:comment
|
- The principle of maximum entropy is a postulate about a universal feature of any probability assignment on a given set of propositions. Let some testable information about a probability distribution function be given. Consider the set of all trial probability distributions that encode this information. Then, the probability distribution that maximizes the information entropy is the true probability distribution with respect to the testable information prescribed.
- Die Maximum-Entropie-Methode oder MEM ist eine Methode der Bayesischen Statistik, die erlaubt, trotz mangelhafter problemspezifischer Information eine a-priori-Wahrscheinlichkeit zuzuweisen. Sie ersetzt frühere Ansätze wie etwa das von Laplace formulierte „Prinzip vom unzureichenden Grunde“.
- Le principe d'entropie maximale consiste lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à : identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc) choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon.
- O desenvolvimento do método Máxima Entropia (ME) ocorreu através de duas linhas de pesquisa: Inferência Estatística (Bernoulli, Bayes, Laplace, Jeffreys, Cox) e modelagem estatística de problemas em mecânica, física e de informação (Maxwell, Boltzmann, Gibbs, Shannon). O objetivo da primeira linha de investigação é a de formular uma teoria/metodologia que permite a compreensão das características gerais de um sistema de informação parcial e incompleto.
|
![[RDF Data]](/statics/sw-cube.png)
