| dbo:abstract
|
- In probability theory, Dirichlet processes (after the distribution associated with Peter Gustav Lejeune Dirichlet) are a family of stochastic processes whose realizations are probability distributions. In other words, a Dirichlet process is a probability distribution whose range is itself a set of probability distributions. It is often used in Bayesian inference to describe the prior knowledge about the distribution of random variables—how likely it is that the random variables are distributed according to one or another particular distribution. As an example, a bag of 100 real-world dice is a random probability mass function (random pmf) - to sample this random pmf you put your hand in the bag and draw out a die, that is, you draw a pmf. A bag of dice manufactured using a crude process 100 years ago will likely have probabilities that deviate wildly from the uniform pmf, whereas a bag of state-of-the-art dice used by Las Vegas casinos may have barely perceptible imperfections. We can model the randomness of pmfs with the Dirichlet distribution. The Dirichlet process is specified by a base distribution and a positive real number called the concentration parameter (also known as scaling parameter). The base distribution is the expected value of the process, i.e., the Dirichlet process draws distributions "around" the base distribution the way a normal distribution draws real numbers around its mean. However, even if the base distribution is continuous, the distributions drawn from the Dirichlet process are almost surely discrete. The scaling parameter specifies how strong this discretization is: in the limit of , the realizations are all concentrated at a single value, while in the limit of the realizations become continuous. Between the two extremes the realizations are discrete distributions with less and less concentration as increases. The Dirichlet process can also be seen as the infinite-dimensional generalization of the Dirichlet distribution. In the same way as the Dirichlet distribution is the conjugate prior for the categorical distribution, the Dirichlet process is the conjugate prior for infinite, nonparametric discrete distributions. A particularly important application of Dirichlet processes is as a prior probability distribution in infinite mixture models. The Dirichlet process was formally introduced by Thomas Ferguson in 1973.It has since been applied in data mining and machine learning, among others for natural language processing, computer vision and bioinformatics. One application area where the Dirichlet has proved to be particularly useful is in modeling the distribution of words in text documents. If we have a dictionary containing k possible words, then a particular document can be represented by a pmf of length k produced by normalizing the empirical frequency of its words. A group of documents produces a collection of pmfs, and we can fit a Dirichlet distribution to capture the variability of these pmfs. Different Dirichlet distributions can be used to model documents by different authors or documents on different topics. (en)
- Em teoria das probabilidades, os processos de Dirichlet, que recebem este nome em homenagem ao matemático alemão Johann Peter Gustav Lejeune Dirichlet, são uma família de processos estocásticos cujas observações são distribuições de probabilidade. Em outras palavras, um processo de Dirichlet é uma distribuição de probabilidade cujo intervalo é ele mesmo um conjunto de distribuições de probabilidade. É frequentemente usado em inferência bayesiana para descrever conhecimento a priori sobre a distribuição de variáveis aleatórias — qual a probabilidade de que as variáveis aleatórias sejam distribuídas de acordo com uma ou outra distribuição particular. O processo de Dirichlet é especificado por uma distribuição de base e um número real positivo chamado de parâmetro de concentração (também conhecimento como parâmetro de escalonamento). A distribuição de base é o valor esperado do processo, isto é, o processo de Dirichlet obtém distribuições "em torno da" distribuição de base da mesma forma que uma distribuição normal obtém números reais em torno de sua média. Entretanto, mesmo se a distribuição de base for contínua, as distribuições obtidas do processo de Dirichlet são quase certamente discretas. O parâmetro de escalonamento especifica quão forte é esta discretização: no limite de , as observações estão todas concentradas em único valor, enquanto que no limite de , as observações se tornam contínuas. Entre os dois extremos, as observações são distribuições discretas com cada vez menos concentração conforme aumenta. O processo de Dirichlet também pode ser visto como a generalização de dimensão infinita da distribuição de Dirichlet. Da mesma forma que a distribuição de Dirichlet é o conjugado a priori para a distribuição categórica, o processo de Dirichlet é o conjugado a priori para distribuições discretas, não paramétricas e infinitas. Uma aplicação particularmente importante dos processos de Dirichlet é como uma distribuição de probabilidade a priori em modelos infinitos de mistura. O processo de Dirichlet foi formalmente introduzido pelo estatístico Thomas Ferguson em 1973. Tem sido desde então aplicado em mineração de dados e aprendizado de máquina, entre outras áreas relacionadas com processamento de linguagem natural, visão computacional e bioinformática. (pt)
|
| rdfs:comment
|
- In probability theory, Dirichlet processes (after the distribution associated with Peter Gustav Lejeune Dirichlet) are a family of stochastic processes whose realizations are probability distributions. In other words, a Dirichlet process is a probability distribution whose range is itself a set of probability distributions. It is often used in Bayesian inference to describe the prior knowledge about the distribution of random variables—how likely it is that the random variables are distributed according to one or another particular distribution. (en)
- Em teoria das probabilidades, os processos de Dirichlet, que recebem este nome em homenagem ao matemático alemão Johann Peter Gustav Lejeune Dirichlet, são uma família de processos estocásticos cujas observações são distribuições de probabilidade. Em outras palavras, um processo de Dirichlet é uma distribuição de probabilidade cujo intervalo é ele mesmo um conjunto de distribuições de probabilidade. É frequentemente usado em inferência bayesiana para descrever conhecimento a priori sobre a distribuição de variáveis aleatórias — qual a probabilidade de que as variáveis aleatórias sejam distribuídas de acordo com uma ou outra distribuição particular. (pt)
|
