| dbpprop:abstract
|
- In statistics, an expectation-maximization (EM) algorithm is used for finding maximum likelihood estimates of parameters in probabilistic models, where the model depends on unobserved latent variables. EM is an iterative method which alternates between performing an expectation (E) step, which computes an expectation of the log likelihood with respect to the current estimate of the distribution for the latent variables, and a maximization (M) step, which computes the parameters which maximize the expected log likelihood found on the E step. These parameters are then used to determine the distribution of the latent variables in the next E step.
- Der Expectation-Maximization-Algorithmus (kurz EM-Algorithmus, selten auch Estimation-Maximization-Algorithmus) ist ein Algorithmus der mathematischen Statistik. Der EM-Algorithmus wird vorrangig zur Ballungsanalyse verwendet (Siehe hierzu den Abschnitt „EM-Algorithmus“ im Artikel Clusteranalyse).
- El algoritmo esperanza-maximización o algoritmo EM se usa en estadística para encontrar estimadores de máxima verosimilitud de parámetros en modelos probabilísticos que dependen de variables no observables. El algoritmo EM alterna pasos de esperanza (paso E), donde se computa la esperanza de la verosimilitud mediante la inclusión de variables latentes como si fueran observables, y un paso de maximización (paso M), donde se computan estimadores de máxima verosimilitud de los parámetros mediante la maximización de la verosimilitud esperada del paso E. Los parámetros que se encuentran en el paso M se usan para comenzar el paso E siguiente, y así el proceso se repite.
- L'algorithme espérance-maximisation (en anglais Expectation-maximisation algorithm, souvent abrégé EM), proposé par Dempster et al. (1977), est une classe d'algorithmes qui permettent de trouver le maximum de vraisemblance des paramètres de modèles probabilistes lorsque le modèle dépend de variables latentes non observables. On utilise souvent Espérance-maximisation pour la classification de données, en apprentissage machine, ou en vision artificielle. Espérance-maximisation alterne des étapes d'évaluation de l'espérance (E), où l'on calcule l'espérance de la vraisemblance en tenant compte des dernières variables observées, et une étape de maximisation (M), où l'on estime le maximum de vraisemblance des paramètres en maximisant la vraisemblance trouvée à l'étape E. On utilise ensuite les paramètres trouvés en M comme point de départ d'une nouvelle phase d'évaluation de l'espérance, et l'on itère ainsi. Pour résoudre le problème d'apprentissage des modèles de Markov cachés (HMM), c’est-à-dire la détermination des paramètres du modèle markovien, on utilise l'algorithme de Baum-Welch.
- EMアルゴリズム は、統計学において、 確率モデルのパラメータを最尤法に基づいて推定する手法のひとつであり、 観測不可能な潜在変数（英語）に確率モデルが依存する場合に用いられる。 その一般性の高さから、音声認識、因子分析など、広汎な応用がある。 期待値最大化法（きたいちさいだいかほう）、EM法とも呼ばれる。 EMアルゴリズムは反復法の一種であり、期待値 ステップと最大化ステップを交互に繰り替えすことで計算が進行する。 Eステップでは、現在推定されている潜在変数の分布に基づいて、モデルの尤度の期待値を計算する。 Mステップでは、E ステップで求まった尤度の期待値を最大化するようなパラメータを求める。 M ステップで求まったパラメータは、次の E ステップで使われる潜在変数の分布を決定するために用いられる。
- EM-алгоритм - алгоритм, используемый в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов. На E-шаге (expectation) вычисляется ожидаемое значение функции правдоподобия, при этом скрытые переменные рассматриваются как наблюдаемые. На M-шаге (maximization) вычисляется оценка максимального правдоподобия, таким образом увеличивается ожидаемое правдоподобие, вычисляемое на E-шаге. Затем это значение используется для E-шага на следующей итерации. Алгоритм выполняется до сходимости. Часто EM-алгоритм используют для разделения смеси гауссиан. Описание алгоритма Пусть <math>\textbf{X} - некоторые из значений наблюдаемых переменных, а <math>\textbf{T} - скрытые переменные. Вместе <math>\textbf{X} и <math>\textbf{T} образуют полный набор данных. Вообще, <math>\textbf{T} может быть некоторой подсказкой, которая облегчает решение проблемы в случае, если она известна. Например, если имеется смесь распределений, функция правдоподобия легко выражается через параметры отдельных распределений смеси. Положим <math>p\, - плотность вероятности (в непрерывном случае) или функция вероятности (в дискретном случае) полного набора данных с параметрами <math>\Theta: <math>p(\mathbf X, \mathbf T | \Theta). Эту функцию можно понимать как правдоподобие всей модели, если рассматривать её как функцию параметров <math>\Theta. Заметим, что условное распределение скрытой компоненты при некотором наблюдении и фиксированном наборе параметров может быть выражено так: p(\mathbf T |\mathbf X, \Theta) \frac{p(\mathbf X, \mathbf T | \Theta)}{p(\mathbf X | \Theta)} \frac{p(\mathbf X|\mathbf T, \Theta) p(\mathbf T |\Theta) }{\int p(\mathbf X|\mathbf \hat{T}, \Theta) p(\mathbf \hat{T} |\Theta) d\mathbf \hat{T}}, используя расширенную формулу Байеса и формулу полной вероятности. Таким образом, нам необходимо знать только распределение наблюдаемой компоненты при фиксированной скрытой <math>p(\mathbf X|\mathbf T, \Theta) и вероятности скрытых данных <math>p(\mathbf T |\Theta). EM-алгоритм итеративно улучшает начальную оценку <math>\Theta_0, вычисляя новые значения оценок <math>\Theta_1, \Theta_2, и так далее. На каждом шаге переход к <math>\Theta_{n+1}\, от <math>\Theta_n\, выполняется следующим образом: \Theta_{n+1} \arg\max_{\Theta}Q(\Theta) где <math>Q(\Theta) - матожидание логарифма правдоподобия. Другими словами, мы не можем сразу вычислить точное правдоподобие, но по известным данным (<math>X) мы пожем найти апостериорную оценку вероятностей для различных значений скрытых переменных <math>T. Для каждого набора значений <math>T и параметров <math>\Theta мы можем вычислить матожидание функции правдоподобия по данному набору <math>X. Оно зависит от предыдущего значения <math>\Theta, потому что это значение влияет на вероятности скрытых переменных <math>T. <math>Q(\Theta) вычисляется следующим образом: Q(\Theta) E_{\mathbf T} \! \! \left[ \log p \left(\mathbf X, \mathbf T \,|\, \Theta \right) \Big| \mathbf X \right] то есть это условное матожидание <math>\log p \left(\mathbf X, \mathbf T \,|\, \Theta \right) при условии <math> \Theta . Другими словами, <math>\Theta_{n+1} - это значение, маскимизирующее (M) условное матожидание (E) логарифма правдоподобия при данных значениях наблюдаемых переменных и предыдущем значении параметров. В непрерывном случае значение <math>Q(\Theta) вычисляется так: Q(\Theta) E_{\mathbf T} \! \! \left[ \log p \left(\mathbf X, \mathbf T \,|\, \Theta \right) \Big| \mathbf X \right] \int^\infty _{- \infty} p \left(\mathbf T \,|\, \mathbf X, \Theta_n \right) \log p \left(\mathbf X, \mathbf T \,|\, \Theta \right) d\mathbf T Примеры использования k-means - алгоритм кластеризации, построенный на идее EM-алгоритма Алгоритм Баума-Велша - алгоритм для оценки параметров скрытых марковских моделей Ссылки Демонстрация разделения смеси гауссиан с помощью EM-алгоритма Реализация на Java
- 在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。最大期望算法经过两个步骤交替进行计算，第一步是计算期望（E），也就是将隐藏变量象能够观测到的一样包含在内从而计算最大似然的期望值；另外一步是最大化（M），也就是最大化在 E 步上找到的最大似然的期望值从而计算参数的最大似然估计。M 步上找到的参数然后用于另外一个 E 步计算，这个过程不断交替进行。
|
| rdfs:comment
|
- In statistics, an expectation-maximization (EM) algorithm is used for finding maximum likelihood estimates of parameters in probabilistic models, where the model depends on unobserved latent variables.
- Der Expectation-Maximization-Algorithmus (kurz EM-Algorithmus, selten auch Estimation-Maximization-Algorithmus) ist ein Algorithmus der mathematischen Statistik. Der EM-Algorithmus wird vorrangig zur Ballungsanalyse verwendet (Siehe hierzu den Abschnitt „EM-Algorithmus“ im Artikel Clusteranalyse).
- El algoritmo esperanza-maximización o algoritmo EM se usa en estadística para encontrar estimadores de máxima verosimilitud de parámetros en modelos probabilísticos que dependen de variables no observables.
- L'algorithme espérance-maximisation (en anglais Expectation-maximisation algorithm, souvent abrégé EM), proposé par Dempster et al. (1977), est une classe d'algorithmes qui permettent de trouver le maximum de vraisemblance des paramètres de modèles probabilistes lorsque le modèle dépend de variables latentes non observables. On utilise souvent Espérance-maximisation pour la classification de données, en apprentissage machine, ou en vision artificielle.
- EM-алгоритм - алгоритм, используемый в математической статистике для нахождения оценок максимального правдоподобия параметров вероятностных моделей, в случае, когда модель зависит от некоторых скрытых переменных. Каждая итерация алгоритма состоит из двух шагов.
|
![[RDF Data]](/statics/sw-cube.png)
