Redes Neuronales
de Aproximación/Optimización
Las formulación basadas en la aproximación se pueden ver
como una aproximación/regresión para el conjunto de datos
entrenados. Los datos para el entrenamiento se dan en pares de entrada/maestro
(deseado), que denotaremos por 
, donde M
es el número de patrones de entrenamiento. Los valores deseados
en los nodos de salida correspondientes a los patrones de entrada 
los llamaremos maestros. El objetivo del entrenamiento
de la red es encontrar los pesos óptimos para minimizar el error
entre los valores del maestro y las salidas de respuesta actual.
Un criterio popular es minimizar los errores cuadráticos medios
entre el maestro y la salida actual. Para adquirir una capacidad de aproximación
no lineal, se usan frecuentemente las redes multicapa, junto con el algoritmo
de back-propagation (retropropagación).
La función que representa el modelo es función de las
entradas y de los pesos: 
, si asumimos que
hay una única salida. En la formulación básica del
modelo de aproximación, el procedimiento implica el encontrar los
pesos que minimizan el least-squares-error (error cuadrático
medio) LMS como función de energía: 
.
El vector de pesos w se puede adaptar para ir minimizando la función
de energía a lo largo de la dirección de descenso del gradiente:
-
En la fase de prueba, la célula que gana a la salida es la la célula
que da la máxima respuesta al patrón de entrada.
En la formulación de optimización, la función
de energía 
debe ser específicamente
elegida. De nuevo el vector de pesos w se puede entrenar por la
regla de adaptación del gradiente:
-
Por ejemplo, la función de (máxima) verosimilitud (likelihood) 
es un criterio popular para las redes neuronales.
-
donde 
denota el conjunto de entrenamiento para
la clase i-ésima. En la fase de prueba, la clase con 
correspondiente al patrón de prueba x se declarará
ganador.
ADALINE
Contenido
Redes Neuronales Artificiales
Sobre este tutorial