| has abstract
| - Augmented Lagrangian methods are a certain class of algorithms for solving constrained optimization problems. They have similarities to penalty methods in that they replace a constrained optimization problem by a series of unconstrained problems and add a penalty term to the objective; the difference is that the augmented Lagrangian method adds yet another term, designed to mimic a Lagrange multiplier. The augmented Lagrangian is related to, but not identical with the method of Lagrange multipliers. Viewed differently, the unconstrained objective is the Lagrangian of the constrained problem, with an additional penalty term (the augmentation). The method was originally known as the method of multipliers, and was studied much in the 1970 and 1980s as a good alternative to penalty methods. It was first discussed by Magnus Hestenes, and by Michael Powell in 1969. The method was studied by R. Tyrrell Rockafellar in relation to Fenchel duality, particularly in relation to proximal-point methods, , and maximal monotone operators: These methods were used in structural optimization. The method was also studied by Dimitri Bertsekas, notably in his 1982 book, together with extensions involving nonquadratic regularization functions, such as entropic regularization, which gives rise to the "exponential method of multipliers," a method that handles inequality constraints with a twice differentiable augmented Lagrangian function. Since the 1970s, sequential quadratic programming (SQP) and interior point methods (IPM) have had increasing attention, in part because they more easily use sparse matrix subroutines from numerical software libraries, and in part because IPMs have proven complexity results via the theory of self-concordant functions. The augmented Lagrangian method was rejuvenated by the optimization systems LANCELOT, ALGENCAN and AMPL, which allowed sparse matrix techniques to be used on seemingly dense but "partially separable" problems. The method is still useful for some problems.Around 2007, there was a resurgence of augmented Lagrangian methods in fields such as total-variation denoising and compressed sensing. In particular, a variant of the standard augmented Lagrangian method that uses partial updates (similar to the Gauss–Seidel method for solving linear equations) known as the alternating direction method of multipliers or ADMM gained some attention. (en)
- Les algorithmes du lagrangien augmenté sont une certaine classe d'algorithmes pour résoudre des problèmes d'optimisation sous contraintes. Elles présentent des similitudes avec les méthodes de pénalité dans le sens où elles remplacent un problème d'optimisation sous contraintes par une série de problèmes sans contrainte et ajoutent un terme de pénalité à l'objectif ; la différence est qu'une méthode du lagrangien augmenté ajoute encore un autre terme, conçu pour agir comme un multiplicateur de Lagrange. Le Lagrangien augmenté est apparenté, mais non identique à la méthode des multiplicateurs de Lagrange. Vu différemment, l'objectif sans contrainte est le lagrangien du problème contraint, avec un terme de pénalité supplémentaire (l'augmentation). La méthode était à l'origine connue sous le nom de méthode des multiplicateurs et a été beaucoup étudiée dans les années 1970 et 1980 comme une bonne alternative aux méthodes de pénalité. Il a été discuté pour la première fois par Magnus Hestenes et par Michael Powell en 1969. La méthode a été étudiée par R. Tyrrell Rockafellar en relation avec la (en), en particulier en relation avec les méthodes des points proximaux, la régularisation Moreau-Yosida et les opérateurs monotones maximaux : ces méthodes ont été utilisées en optimisation structurelle. La méthode a également été étudiée par Dimitri Bertsekas, notamment dans son livre de 1982, ainsi que des extensions impliquant des fonctions de régularisation non quadratiques, telles que la régularisation entropique, qui donne naissance à la « méthode exponentielle des multiplicateurs », une méthode qui gère les contraintes d'inégalité avec une fonction lagrangienne augmentée deux fois dérivable. Depuis les années 1970, la programmation quadratique séquentielle (PQS) et les méthodes de points intérieurs (MPI) ont suscité une attention croissante, en partie parce qu'elles utilisent plus facilement des sous-programmes de matrice creuse à partir de bibliothèques de logiciels , et en partie parce que les MPI ont prouvé des résultats de complexité via la théorie de (en). La méthode du Lagrangien augmenté a été rajeunie par les systèmes d'optimisation LANCELOT, ALGENCAN et AMPL, qui ont permis d'utiliser des techniques de matrices creuses sur des problèmes apparemment denses mais "partiellement séparables". La méthode est toujours utile pour certains problèmes. Vers 2007, il y a eu une résurgence des méthodes du lagrangien augmenté dans des domaines tels que le débruitage à variation totale et la détection compressée . En particulier, une variante de la méthode lagrangienne augmentée standard qui utilise des mises à jour partielles (similaire à la méthode de Gauss-Seidel pour résoudre des équations linéaires) connue sous le nom d'algorithme des directions alternées des multiplicateurs ou MDAM a attiré l'attention. (fr)
- 增广拉格朗日惩罚函数法（Augmented Lagrangian methods）是一类用来求解带约束优化问题的算法。与一般的惩罚函数法相比，相同处在于这类方法也会通过将限制条件化为目标函数的惩罚项，使原问题转变为一无约束优化问题；不同处在于，这类方法还会在目标函数中额外添加用来模仿拉格朗日乘子的一项，这一项与拉格朗日乘子不完全一样。 从另一个角度看，无约束目标函数是带约束问题的拉格朗日對偶再加上一个额外的惩罚项（或者称为“增广量”）。 这种方法曾被人们称为乘子法。在20世纪70到80年代曾被作为惩罚函数法的替代方法被大量研究过。这类方法首次由、麦克尔·詹姆斯·大卫·鲍威尔在1969年提出。深入研究了其与，尤其是与邻近点方法、Moreau–Yosida 正则化和单调算子之间的联系——这些方法被应用在结构工程领域。也对该方法做过研究，尤其是在他1982年的书中对涉及到非二次正则化函数的扩展，如，为后续的用来处理二阶可微增广拉格朗日惩罚函数的指数乘子方法奠定了基础。 自20世纪70年代起，（SQP）与逐渐兴盛。这种兴盛，很难说与这两种方法能巧妙利用当时数值计算软件库中的稀疏矩阵库函数不无关系，而内点法还有通过同伦函数理论被证明的复杂度分析。LANCELOT和AMPL的出现，使得增广拉格朗日惩罚函数法能被用于求解看似稠密但却部分可分的优化问题，为该方法注入了新的活力。2007年前后，全变分降噪、压缩感知等领域中，该方法也再次被活跃运用。其中，一类运用了分部更新技巧（与求解线性方程组的类似）的算法变种——交替方向乘子法（ADMM）获得了较大的关注。 (zh)
|
![[RDF Data]](/fct/images/sw-rdf-blue.png)
![[cxml]](/fct/images/cxml_doc.png)
![[csv]](/fct/images/csv_doc.png)
![[text]](/fct/images/ntriples_doc.png)
![[turtle]](/fct/images/n3turtle_doc.png)
![[ld+json]](/fct/images/jsonld_doc.png)
![[rdf+json]](/fct/images/json_doc.png)
![[rdf+xml]](/fct/images/xml_doc.png)
![[atom+xml]](/fct/images/atom_doc.png)
![[html]](/fct/images/html_doc.png)