Diese Gradientenmethode startet mit einem Vektor 
und tastet sich über
eine Folge von Iterationsschritten 
zum
tiefsten 
-dimensionalen Punkt des quadratischen Funktionals
(4.28) hinab.
Die Richtung des Fortschreitens, für welche 
maximal reduziert wird,
ist durch den negativen Gradienten
gegeben. Die Richtung 
ist aber auch das Residuum
des zu lösenden Gleichungssystems, das darüber Aufschluß gibt,
wie groß die Abweichung von 
ist. Der Vektor
ist die Differenz vom Istwert der 
-ten Iteration zum Sollwert 
. Es ist auch
leicht zu sehen, daß 
auch als
darstellbar ist. Eine neue Lösung 
kann aus einer alten Lösung
mit
gewonnen werden. Die noch offene Frage, welche die Wahl der Schrittweite 
betrifft, wird durch eine Minimumssuche von 
entlang der Linie
gelöst.
Ist nämlich die Richtungsableitung 
null,
so ist 
ein Minimum entlang der Suchrichtung . Mit Hilfe der Kettenregel
erhält man die Form
Setzt man diesen Ausdruck null, so sieht man, daß die Schrittweite 
so gewählt werden muß, daß 
und 
orthogonal aufeinander sind. Zur
Berechnung von 
wird die Beziehung
von der Iteration 
gänzlich auf 
zurückgeführt.
Der Algorithmus der Methode des steilsten Abstiegs kann nun mit
formuliert werden, wobei als Abbruchkriterium eine 
-Norm des Residuums
bezogen auf die rechte Seite gewählt wurde.
Unglücklicherweise ist die Iterationszahl sehr hoch, wenn die Konditionszahl,
das Verhältnis vom größten zu kleinsten Eigenwert, sehr groß ist.
In diesem Fall sind die Isolinien von
langgestreckte Hyperellipsoide. Bei zwei Unbekannten ist die Funktion
vergleichbar mit einem langgestreckten Tal, wobei der Anstieg vom Minimum in
Längsrichtung viel kleiner ist als in Querrichtung. Die Hauptachsen des
Ellipsoids sind die Eigenwerte.
Wendet man die Methode des steilsten Abstiegs an, so bewegt man sich mehr in
Querrichtung als in Längsrichtung zum tiefsten Punkt hin. Die Suchrichtungen, die
durch die Residuen vorgegeben werden, sind einander, bis auf das Vorzeichen, ähnlich
und bewirken eine langsame Konvergenz.