About: Quickprop

An Entity of Type: Abstraction100002137, from Named Graph: http://dbpedia.org, within Data Space: dbpedia.org

Quickprop is an iterative method for determining the minimum of the loss function of an artificial neural network, following an algorithm inspired by the Newton's method. Sometimes, the algorithm is classified to the group of the second order learning methods. It follows a quadratic approximation of the previous gradient step and the current gradient, which is expected to be close to the minimum of the loss function, under the assumption that the loss function is locally approximately square, trying to describe it by means of an upwardly open parabola. The minimum is sought in the vertex of the parabola. The procedure requires only local information of the artificial neuron to which it is applied.The -th approximation step is given by:

Property Value
dbo:abstract
  • Quickprop ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion eines künstlichen neuronalen Netzes, das sich an das Newton-Verfahren anlehnt. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da über eine quadratische Approximation aus dem vorhergehenden Gradientenschritt und dem aktuellen Gradienten auf das Minimum der Fehlerfunktion geschlossen wird. Unter der Annahme, dass die Fehlerfunktion lokal näherungsweise quadratisch ist, versucht man sie mit Hilfe einer nach oben geöffneten Parabel zu beschreiben. Das gesuchte Minimum liegt im Scheitel der Parabel.Das Verfahren benötigt ausschließlich lokale Informationen des künstlichen Neurons, auf das es angewendet werden soll. Der k-te Approximationsschritt ist dabei gegeben durch: Dabei ist das Gewicht des Neurons j für den Eingang i und E die Summe der Fehler. Der Quickprop-Algorithmus konvergiert im Allgemeinen schneller als Fehlerrückführung (engl. backpropagation), jedoch kann sich das Netzwerk in der Lernphase aufgrund zu großer Schrittweiten chaotisch verhalten. (de)
  • Quickprop is an iterative method for determining the minimum of the loss function of an artificial neural network, following an algorithm inspired by the Newton's method. Sometimes, the algorithm is classified to the group of the second order learning methods. It follows a quadratic approximation of the previous gradient step and the current gradient, which is expected to be close to the minimum of the loss function, under the assumption that the loss function is locally approximately square, trying to describe it by means of an upwardly open parabola. The minimum is sought in the vertex of the parabola. The procedure requires only local information of the artificial neuron to which it is applied.The -th approximation step is given by: Being the neuron weight of its input and is the loss function. The Quickprop algorithm is an implementation of the error backpropagation algorithm, but the network can behave chaotically during the learning phase due to large step sizes. (en)
dbo:wikiPageExternalLink
dbo:wikiPageID
  • 41575347 (xsd:integer)
dbo:wikiPageLength
  • 1821 (xsd:nonNegativeInteger)
dbo:wikiPageRevisionID
  • 1000317609 (xsd:integer)
dbo:wikiPageWikiLink
dbp:wikiPageUsesTemplate
dcterms:subject
rdf:type
rdfs:comment
  • Quickprop ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion eines künstlichen neuronalen Netzes, das sich an das Newton-Verfahren anlehnt. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da über eine quadratische Approximation aus dem vorhergehenden Gradientenschritt und dem aktuellen Gradienten auf das Minimum der Fehlerfunktion geschlossen wird. Unter der Annahme, dass die Fehlerfunktion lokal näherungsweise quadratisch ist, versucht man sie mit Hilfe einer nach oben geöffneten Parabel zu beschreiben. Das gesuchte Minimum liegt im Scheitel der Parabel.Das Verfahren benötigt ausschließlich lokale Informationen des künstlichen Neurons, auf das es angewendet werden soll. (de)
  • Quickprop is an iterative method for determining the minimum of the loss function of an artificial neural network, following an algorithm inspired by the Newton's method. Sometimes, the algorithm is classified to the group of the second order learning methods. It follows a quadratic approximation of the previous gradient step and the current gradient, which is expected to be close to the minimum of the loss function, under the assumption that the loss function is locally approximately square, trying to describe it by means of an upwardly open parabola. The minimum is sought in the vertex of the parabola. The procedure requires only local information of the artificial neuron to which it is applied.The -th approximation step is given by: (en)
rdfs:label
  • Quickprop (de)
  • Quickprop (en)
owl:sameAs
prov:wasDerivedFrom
foaf:isPrimaryTopicOf
is dbo:wikiPageWikiLink of
is foaf:primaryTopic of
Powered by OpenLink Virtuoso    This material is Open Knowledge     W3C Semantic Web Technology     This material is Open Knowledge    Valid XHTML + RDFa
This content was extracted from Wikipedia and is licensed under the Creative Commons Attribution-ShareAlike 3.0 Unported License