| p:abstract
| - </div> Gradient descent is an optimization algorithm. To find a local minimum of a function using gradient descent, one takes steps proportional to the negative of the gradient (or the approximate gradient) of the function at the current point. If instead one takes steps proportional to the gradient, one approaches a local maximum of that function; the procedure is then known as gradient ascent. Gradient descent is also known as steepest descent, or the method of steepest descent. When known as the latter, gradient descent should not be confused with the method of steepest descent for approximating integrals. (en)
- La descente de gradient désigne un algorithme d'optimisation consistant à partir d'un point quelconque de se déplacer dans la direction de la plus forte pente. Cette direction est calculée à partir du gradient de la fonction au point considéré. En effet, le gradient indiquant la direction de plus forte augmentation de la fonction, on suppose que la direction de plus grande pente est la direction opposée.En général, on applique une recherche linéaire pour calculer le pas optimal sur cette direction. (fr)
- 最急降下法（さいきゅうこうかほう, Steepest descent method、最速降下法とも言う）は、ポテンシャル面の傾き（一階微分）のみから、エネルギー最小値を探索する方法。傾き（一階微分）のみしか見ないので手法として簡便で計算も速いが、一方で局所的な最小値（Local minimum）に捉まり易いのが欠点（大域的な最小値を求めるのは困難）。 (ja)
- Градиентный спуск — метод нахождения локального минимума (максимума) функции с помощью движения вдоль антиградиента . Для минимизации функции в направлении градиента используются методы одномерной оптимизации, например, метод золотого сечения. Также можно искать не наилучшую точку в направлении градиента, а какую-либо лучше текущей. Сходимость метода градиентного спуска зависит от отношения максимального и минимального собственных чисел матрицы Гессе в окрестности минимума (максимума). Чем больше это отношение, тем хуже сходимость метода. (ru)
- La discesa del gradiente è una tecnica di ottimizzazione di tipo locale. Data una funzione matematica multidimensionale, la discesa del gradiente consente di trovare un minimo locale di questa funzione. la tecnica consiste nel valutare, inizialmente in un punto scelto a caso nello spazio multidimensionale, sia la funzione stessa sia il suo gradiente. Il gradiente indica la direzione in cui la funzione tende a un minimo. Si sceglie poi un altro punto nella direzione indicata dal gradiente. Se la funzione al secondo punto ha un valore inferiore al valore calcolato al primo punto, la discesa puó continuare, seguendo adesso peró il gradiente calcolato al secondo punto, che potrebbe essere molto diverso dal gradiente calcolato al primo punto. Per esempio, data una funzione di molte variabili <math>y = f</math>, si possono scegliere a caso valori per le <math>x_1, x2, \ldots, x_n</math> nello spazio di interesse, dando un risultato iniziale <math>y_0</math>. Il gradiente si calcola perturbando ciascuno dei valori iniziali delle <math>x_1, x2, \ldots, x_n</math>, cioè ricalcolando il valore della funzione f a posizioni in cui al valore iniziale di ciascun <math>x_i</math> si somma o si sottrae un valore minimo . La differenza fra il valore originale e il valore perturbato é la derivata discreta in ciascuna dimensione. La stima del gradiente in ciascuna dimensione é proporzionale a questa derivata discreta. Per continuare il nostro esempio, se la funzione fosse <math>f = x_1^2 - x_2 + x_3</math> e i punti iniziali fossero <math>x_1 = 1, x_2 = 2, x_3 = 3</math>, <math>f = 2</math>, <math>f = 2.21</math>, <math>f = 1.9</math>, <math>f = 2.1</math>, <math>f = 1.9</math>. Si vede che per trovare un minimo di questa funzione conviene diminuire i valori di <math>x_1</math> e <math>x_3</math>, e aumentare il valore di <math>x_2</math>. Si vede anche che diminuire il valore di <math>x_1</math> minimizza la funzione circa due volte più velocemente che diminuire il valore di <math>x_3</math> o aumentare il valore di <math>x_2</math>, quindi, volendo un cambiamento totale di circa <math>\delta</math>, si utilizzerá una formula tipo <math>x_1' = x_1 - \delta / 2</math>, <math>x_2' = x_2 + \delta / 4</math>, <math>x_3' = x_3 - \delta / 4</math>. Se la funzione al secondo punto dovesse avere un valore maggiore o uguale a quello calcolato al primo punto, o si é trovato un minimo locale per la funzione, oppure la distanza fra il primo e il secondo punto é eccessiva per questa funzione (quanto meno in questa zona dello spazio multidimensionale). I due casi si possono distinguere valutando la funzione in vari punti intermedi, perché nel caso del minimo locale i valori saranno simili, e altrimenti potranno essere molto diversi. Se non si é raggiunto un minimo locale, la ricerca puó ricomiciare dal primo punto, magari usando una distanza minore. La discesa di gradiente d'errore trova solo minimi locali di funzione. Puó peró anche esser utilizzata nella ricerca di un mimimo globale, scegliendo a caso un nuovo punto iniziale una volta che si sia trovato un minimo locale, e ripetendo l'operazione moltissime volte. Se il numero di minimi della funzione é limitato e il numero di tentativi molto elevato, ci sono buone probabilitá che prima o poi il minimo globale sará identificato. (it)
- Das Verfahren des steilsten Abstiegs, auch Gradientenverfahren genannt, ist ein Verfahren, das in der Numerik eingesetzt wird, um allgemeine Optimierungsprobleme zu lösen. Dabei geht man (am Beispiel eines Minimierungsproblemes) von einem Näherungswert aus. Von diesem schreitet man in Richtung des negativen Gradienten fort, bis man keine numerische Verbesserung mehr erzielt. Das Verfahren konvergiert oftmals sehr langsam, da es sich dem Optimum entweder mit einem starken Zick-Zack-Kurs nähert oder der Betrag des Gradienten in der Nähe des Optimums sehr klein ist, wodurch die Länge der Iterationsschritte dann ebenfalls sehr klein ist. Für die Lösung von symmetrisch positiv definiten linearen Gleichungssystemen bietet das Verfahren der konjugierten Gradienten hier eine immense Verbesserung. Der Gradientenabstieg ist dem Bergsteigeralgorithmus (hill climbing) verwandt. (de)
|
![[RDF Data]](http://dbpedia.org/statics/sw-cube.png)
