| dbpprop:abstract
|
- Gradient descent is a first-order optimization algorithm. To find a local minimum of a function using gradient descent, one takes steps proportional to the negative of the gradient (or the approximate gradient) of the function at the current point. If instead one takes steps proportional to the gradient, one approaches a local maximum of that function; the procedure is then known as gradient ascent. Gradient descent is also known as steepest descent, or the method of steepest descent. When known as the latter, gradient descent should not be confused with the method of steepest descent for approximating integrals.
- Das Verfahren des steilsten Abstiegs, auch Gradientenverfahren genannt, ist ein Verfahren, das in der Numerik eingesetzt wird, um allgemeine Optimierungsprobleme zu lösen. Dabei geht man (am Beispiel eines Minimierungsproblemes) von einem Näherungswert aus. Von diesem schreitet man in Richtung des negativen Gradienten (der die Richtung des steilsten Abstiegs von diesem Näherungswert angibt) fort, bis man keine numerische Verbesserung mehr erzielt. Das Verfahren konvergiert oftmals sehr langsam, da es sich dem Optimum entweder mit einem starken Zick-Zack-Kurs nähert oder der Betrag des Gradienten in der Nähe des Optimums sehr klein ist, wodurch die Länge der Iterationsschritte dann ebenfalls sehr klein ist. Für die Lösung von symmetrisch positiv definiten linearen Gleichungssystemen bietet das Verfahren der konjugierten Gradienten hier eine immense Verbesserung. Der Gradientenabstieg ist dem Bergsteigeralgorithmus (hill climbing) verwandt.
- La descente de gradient désigne un algorithme d'optimisation. Afin de trouver un minimum local de la fonction à optimiser, cette méthode consiste à progresser par étapes proportionnelles à l'opposé du gradient (ou de son approximation) de la fonction au point courant. À l'opposé, en progressant par étapes dans la direction du gradient, on obtient alors un maximum local de la fonction; cette méthode est alors appelée montée de gradient (gradient ascent en anglais). La descente de gradient est également connue sous les noms de descente de plus forte pente ou méthode de la plus grand pente car l'antigradient définit la meilleure des directions de descente. Quand elle est connue sous ces dernières appellations, cette méthode ne doit pas être confondue avec la méthode de plus grande pente utilisée pour l'approximation d'intégrales.
- La discesa del gradiente è una tecnica di ottimizzazione di tipo locale. Data una funzione matematica multidimensionale, la discesa del gradiente consente di trovare un minimo locale di questa funzione. La tecnica consiste nel valutare, inizialmente in un punto scelto a caso nello spazio multidimensionale (primo punto), sia la funzione stessa sia il suo gradiente. Il gradiente indica la direzione in cui la funzione tende a un minimo. Si sceglie poi un altro punto (secondo punto) nella direzione indicata dal gradiente. Se la funzione al secondo punto ha un valore inferiore al valore calcolato al primo punto, la discesa può continuare, seguendo adesso però il gradiente calcolato al secondo punto, che potrebbe essere molto diverso dal gradiente calcolato al primo punto. Per esempio, data una funzione di molte variabili <math>y = f(x_1, x_2, \ldots x_n)</math>, si possono scegliere a caso valori per le <math>x_1, x_2, \ldots, x_n</math> nello spazio di interesse, dando un risultato iniziale <math>y_0</math>. Il gradiente si calcola perturbando ciascuno dei valori iniziali delle <math>x_1, x_2, \ldots, x_n</math>, cioè ricalcolando il valore della funzione f a posizioni in cui al valore iniziale di ciascun <math>x_i</math> si somma o si sottrae un valore minimo. La differenza fra il valore originale e il valore perturbato è la derivata discreta in ciascuna dimensione. La stima del gradiente in ciascuna dimensione é proporzionale a questa derivata discreta. Per continuare il nostro esempio, se la funzione fosse <math>f(x_1, x_2, x_3) = x_1^2 - x_2 + x_3</math> e i punti iniziali fossero <math>x_1 = 1, x_2 = 2, x_3 = 3</math>, <math>f(1, 2, 3) = 2</math>, <math>f(1.1, 2, 3) = 2.21</math>, <math>f(1, 2.1, 3) = 1.9</math>, <math>f(1, 2, 3.1) = 2.1</math>, <math>f(1, 2, 2.9) = 1.9</math>. Si vede che per trovare un minimo di questa funzione conviene diminuire i valori di <math>x_1</math> e <math>x_3</math>, e aumentare il valore di <math>x_2</math>. Si vede anche che diminuire il valore di <math>x_1</math> minimizza la funzione circa due volte più velocemente che diminuire il valore di <math>x_3</math> o aumentare il valore di <math>x_2</math>, quindi, volendo un cambiamento totale di circa <math>\delta</math>, si utilizzerá una formula tipo <math>x_1' = x_1 - \delta / 2</math>, <math>x_2' = x_2 + \delta / 4</math>, <math>x_3' = x_3 - \delta / 4</math>. Se la funzione al secondo punto dovesse avere un valore maggiore o uguale a quello calcolato al primo punto, o si é trovato un minimo locale per la funzione, oppure la distanza fra il primo e il secondo punto (per esempio il valore di <math>\delta</math> dell'esempio precedente) è eccessiva per questa funzione (quanto meno in questa zona dello spazio multidimensionale). I due casi si possono distinguere valutando la funzione in vari punti intermedi, perché nel caso del minimo locale i valori saranno simili, e altrimenti potranno essere molto diversi. Se non si é raggiunto un minimo locale, la ricerca può ricomiciare dal primo punto, magari usando una distanza minore. La discesa di gradiente d'errore trova solo minimi locali di funzione. Puó però anche esser utilizzata nella ricerca di un mimimo globale, scegliendo a caso un nuovo punto iniziale una volta che si sia trovato un minimo locale, e ripetendo l'operazione moltissime volte. Se il numero di minimi della funzione è limitato e il numero di tentativi molto elevato, ci sono buone probabilitá che prima o poi il minimo globale sarà identificato.
- 最急降下法（さいきゅうこうかほう, Steepest descent method、最速降下法とも言う）は、関数（ポテンシャル面）の傾き（一階微分）のみから、関数の最小値を探索する勾配法のアルゴリズムの一つ。傾き（一階微分）のみしか見ないので手法として簡便で計算も速い。勾配法としては最も単純であり、直接・間接にこのアルゴリズムを使用している場合は多い。 勾配法のため、局所的な最小値（Local minimum）に捉まり易いのが欠点（大域的な最小値を求めるのは困難）。それを回避するために、複数の初期値から探索を行うなどの対策が必要である。
- Metoda gradientu prostego jest pojęciem z zakresu optymalizacji matematycznej. Jest to algorytm numeryczny mający na celu znalezienie minimum zadanej funkcji celu. Jest to jedna z prostszych metod optymalizacji. Przykładami innych metod są metoda najszybszego spadku, czy metoda Newtona.
- Градиентный спуск — метод нахождения локального минимума функции с помощью движения вдоль градиента. Для минимизации функции в направлении градиента используются методы одномерной оптимизации, например, метод золотого сечения. Также можно искать не наилучшую точку в направлении градиента, а какую-либо лучше текущей. Сходимость метода градиентного спуска зависит от отношения максимального и минимального собственных чисел матрицы Гессе в окрестности минимума (максимума). Чем больше это отношение, тем хуже сходимость метода.
- Метод найшвидшого спуску (градієнтний метод) — метод мінімізації функції багатьох змінних f(x) на всьому просторі R.
|
| rdfs:comment
|
- Gradient descent is a first-order optimization algorithm. To find a local minimum of a function using gradient descent, one takes steps proportional to the negative of the gradient (or the approximate gradient) of the function at the current point. If instead one takes steps proportional to the gradient, one approaches a local maximum of that function; the procedure is then known as gradient ascent. Gradient descent is also known as steepest descent, or the method of steepest descent.
- Das Verfahren des steilsten Abstiegs, auch Gradientenverfahren genannt, ist ein Verfahren, das in der Numerik eingesetzt wird, um allgemeine Optimierungsprobleme zu lösen. Dabei geht man (am Beispiel eines Minimierungsproblemes) von einem Näherungswert aus. Von diesem schreitet man in Richtung des negativen Gradienten (der die Richtung des steilsten Abstiegs von diesem Näherungswert angibt) fort, bis man keine numerische Verbesserung mehr erzielt.
- La descente de gradient désigne un algorithme d'optimisation. Afin de trouver un minimum local de la fonction à optimiser, cette méthode consiste à progresser par étapes proportionnelles à l'opposé du gradient (ou de son approximation) de la fonction au point courant. À l'opposé, en progressant par étapes dans la direction du gradient, on obtient alors un maximum local de la fonction; cette méthode est alors appelée montée de gradient (gradient ascent en anglais).
- La discesa del gradiente è una tecnica di ottimizzazione di tipo locale. Data una funzione matematica multidimensionale, la discesa del gradiente consente di trovare un minimo locale di questa funzione. La tecnica consiste nel valutare, inizialmente in un punto scelto a caso nello spazio multidimensionale (primo punto), sia la funzione stessa sia il suo gradiente. Il gradiente indica la direzione in cui la funzione tende a un minimo.
- Metoda gradientu prostego jest pojęciem z zakresu optymalizacji matematycznej. Jest to algorytm numeryczny mający na celu znalezienie minimum zadanej funkcji celu. Jest to jedna z prostszych metod optymalizacji. Przykładami innych metod są metoda najszybszego spadku, czy metoda Newtona.
- Градиентный спуск — метод нахождения локального минимума функции с помощью движения вдоль градиента. Для минимизации функции в направлении градиента используются методы одномерной оптимизации, например, метод золотого сечения.
- Метод найшвидшого спуску (градієнтний метод) — метод мінімізації функції багатьох змінних f(x) на всьому просторі R.
|
![[RDF Data]](/statics/sw-cube.png)
