Näherungs- und Optimierungsnetzwerke

Formeln, die auf Annäherung beruhen, können als eine Annäherungs-Regression für die Trainigsdaten gesehen werden. Die Trainigsdaten werden als Eingabe/Ausgabe-Paare gegeben, dargestellt als , wobei M die Anzahl der Trainigspaare angibt. Die gewünschten Werte an den Ausgabeknoten, die zu den Eingabemustern gehören, werden den Lehrmustern zugeschrieben. Das Ziel eines Netzwerktrainigs ist es, eine optimale Gewichtung zu finden, so daß die Lehrwerte und die tatsächlichen Antworten möglichst korrespondieren. Gängig ist das "minimum-squares error"-Kriterium zwischen Lehrwerten und tatsächlichen Antworten. Um eine vielseitigere nicht-lineare Annäherung zu ermöglichen, werden häufig Mehrschichten-Netzwerke (zusammen mit der Rückwärtsgerichteten-Lernregel) eingesetzt.

Die Modellfunktion ist eine Funktion mit Eingaben und Gewichtungen: , vorausgesetzt, daß es eine Ausgabe gibt. In der elementaren Annäherungs-Formel beinhaltet das Training das Finden der Gewichtungen zum minimalisieren der "least-squares-error"-Energiefunktion: . Der Gewichtungsvektor w kann durch das Minimieren der Energiefunktion entlang der abfallenden Gradienten-Richtung trainiert werden.

In der Anfragephase ist der "Gewinner" derjenige Ausgabeknoten, der die Erkennung gewinnt und die maximale Reaktion auf das Eingabemuster aufweist.

In der Optimierungsbasierten Formel muß die Energiefunktion  je nach Anwendung gewählt werden. Wieder kann der Vektor w nach der abfallenden Gradienten-Regel trainiert werden:

Zum Beispiel wird die Wahrscheinlichkeitsfunktion  häufig als Kriteriumsfunktion in Stochastischen Neuronalen Netzwerken eingesetzt. Daher
wobei  den Trainingsatz für die ite Klasse angibt. In der Abfragephase wird die Klasse mit  entsprechend des Testmusters x zum Sieger deklariert.

ADALINE

Inhalt

Künstliche Neuronale Netzwerke
About this Tutorial