In Bayesian probability theory, a class of prior probability distributions p(θ) is said to be conjugate to a class of likelihood functions p(x|θ) if the resulting posterior distributions p(θ|x) are in the same family as p(θ); the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood.

PropertyValue
dbpprop:abstract
  • In Bayesian probability theory, a class of prior probability distributions p(θ) is said to be conjugate to a class of likelihood functions p(x|θ) if the resulting posterior distributions p(θ|x) are in the same family as p(θ); the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood. For example, the Gaussian family is conjugate to itself (or self-conjugate) with respect to a Gaussian likelihood function: if the likelihood function is Gaussian, choosing a Gaussian prior over the mean will ensure that the posterior distribution is also Gaussian. The concept, as well as the term "conjugate prior", were introduced by Howard Raiffa and Robert Schlaifer in their work on Bayesian decision theory. A similar concept had been discovered independently by George Alfred Barnard. Consider the general problem of inferring a distribution for a parameter θ given some datum or data x. From Bayes' theorem, the posterior distribution is calculated from the prior p(θ) and the likelihood function <math>\theta \mapsto p(x\mid\theta)\!</math> as <math> p(\theta|x) = \frac{p(x|\theta) \, p(\theta)} {\int p(x|\theta) \, p(\theta) \, d\theta}. \!</math> Let the likelihood function be considered fixed; the likelihood function is usually well-determined from a statement of the data-generating process. It is clear that different choices of the prior distribution p(θ) may make the integral more or less difficult to calculate, and the product p(x|θ) × p(θ) may take one algebraic form or another. For certain choices of the prior, the posterior has the same algebraic form as the prior (generally with different parameters). Such a choice is a conjugate prior. A conjugate prior is an algebraic convenience, giving a closed-form expression for the posterior: otherwise a difficult numerical integration may be necessary. Further, conjugate priors may give intuition, by more transparently showing how a likelihood function updates a distribution. All members of the exponential family have conjugate priors. See Gelman et al. for a catalog.
  • Сопряжённое априорное распределение и сопряжённое семейство распределений — одни из основных понятий в байесовской статистике. Рассмотрим задачу о нахождении распределения параметра <math>\theta</math> по имеющемуся наблюдению <math>x</math>. По теореме Байеса, апостериорное распределение вычисляется из априорного распределения с плотностью вероятности <math>p(\theta)</math> и функции правдоподобия <math>p(x | \theta)</math> по формуле: <math>\displaystyle p(\theta|x) = \frac{p(x|\theta) \, p(\theta)} {\int\limits_{\text{range}\;\theta} p(x|\theta) \, p(\theta) \, d\theta}. </math> Если апостериорное распределение <math>p(\theta | x)</math> принадлежит тому же семейству вероятностных распределений, что и априорное распределение <math>p(\theta)</math> (т. е. имеет тот же вид, но с другими параметрами), то это семейство распределений называется сопряжённым семейству функций правдоподобия <math>p(x | \theta)</math>. При этом распределение <math>p(\theta)</math> называется сопряжённым априорным распределением к семейству функций правдоподобия <math>p(x | \theta)</math>. Знание сопряжённых семейств распределений существенно упрощает вычисление апостериорных вероятностей в байесовской статистике, так как позволяет заменить вычисление громоздких интегралов в формуле Байеса простыми алгебраическими манипуляциями над параметрами распределений.
dbpprop:hasPhotoCollection
rdfs:comment
  • In Bayesian probability theory, a class of prior probability distributions p(θ) is said to be conjugate to a class of likelihood functions p(x|θ) if the resulting posterior distributions p(θ|x) are in the same family as p(θ); the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood.
  • Сопряжённое априорное распределение и сопряжённое семейство распределений — одни из основных понятий в байесовской статистике. Рассмотрим задачу о нахождении распределения параметра <math>\theta</math> по имеющемуся наблюдению <math>x</math>.
rdfs:label
  • Conjugate prior
  • Сопряжённое априорное распределение
owl:sameAs
skos:subject
foaf:page
is dbpprop:redirect of