Otras Redes Neuronales
basadas en la decisión
El Perceptrón Lineal se aplica
sólo cuando las clases de patrones se sabe que son separables por
límites de decisión lineales. En contra, el perceptrón
no lineal ofrece un dominio mucho mayor de aplicaciones. Al entrenar
una red compleja, la clave es el principio de asignación de créditos
basado en la decisión distributiva:
-
¿Cuándo actualizar?, en la regla de entrenamiento
basada en la decisión, se actualizan los pesos sólo cuando
se produce un error en la clasificación.
-
¿Qué subred se actualiza? La regla de entrenamiento
es localizada y distributiva. Esta comprende el aprendizaje reforzado y
la subred correspondiente a la clase correcta y el entrenamiento anti reforzado
en la subred ganadora.
-
¿Cómo actualizar? Puesto que el límite de decisión
depende de la función discriminante
,
es natural ajustar el límite de decisión ajustando el vector
de los pesos w tanto en la dirección de el gradiente de la
función discriminante (es decir, entrenamiento reforzado) o en la
dirección contraria (es decir, entrenamiento anti reforzado).
-
donde 
es una tasa de entrenamiento positiva.
El vector gradiente de la función 
con
respecto a w se denota
-
Regla de entrenamiento basada en la decisión
Supongamos que 
es un conjunto de patrones
de entrenamiento, cada uno correspondiente a una de las L clases 
.
Cada clase se modela por una subred con función discriminante, digamos, 
i=
1, ..., L. . Supongamos que el patrón de entrenamiento
m-ésimo
se sabe que pertenece a la clase 
y
-
Esto es, la clase ganadora para el patrón es la clase (subred) j-ésima.
-
Cuando j=1, entonces el patrón es
clasificado correctamente y no se necesita ninguna actualización.
-
Cuando
, esto es, es
mal clasificado, entonces se hace lo siguiente:
-
Entrenamiento reforzado:
-
Entrenamiento anti reforzado:
Nótese que para todo 
y 
, 
esto es, aquellos pesos permanecen sin cambios. Es como en el LP,
los M patrones de entrenamiento se usarán repetidamente en
todos los barridos que sean necesarios para la convergencia.
En esta regla de entrenamiento, el vector de pesos w se mueve
a lo largo de la dirección positiva del gradiente, así que
la función del valor discriminante aumentará, aumentando
la posibilidad de la selección del futuro patrón. El entrenamiento
anti reforzado mueve w a lo largo de la dirección negativa
del gradiente, así que el valor de la función discriminante
disminuirá, disminuyendo así la posibilidad de su futura
elección.
-
Entonces el gradiente en la fórmula
de actualización , es simplemente
-
Que nos lleva a la regla del perceptrón lineal.
Función de base lineal Una función discriminante
RBF es una función de radio entre el patrón y el centroide, 
:
-
Se usa para cada subred l. Así que el centroide (
)
más cercano al patrón actual es el ganador. Al aplicar la
fórmula del entrenamiento basado en la decisión a la última
ecuación y notando que 
, las siguientes
reglas de entrenamiento se pueden derivar:
-
Entrenamiento reforzado:
-
Entrenamiento anti reforzado:
Función de Base Elíptica La versión básica
de RBF de las DBNN discutidas anteriormente se basa en asumir que el espacio
de características es uniformemente normalizado en todas direcciones.
En la práctica, de todas formas, distintas características
pueden tener distintos grados de importancia dependiendo en el modo que
sean medidos. Esto lleva a la adopción de funciones discriminantes
elípticas mas versátiles. La forma mas general de una función
de segundo orden es la Xxxx(skewed) función de base hiperelíptica.
En la práctica y para la mayoría de las aplicaciones, la
función discriminante EBF se
convierte en:
-
Estructura
Jerárquica DBNN
Contenido
Redes Neuronales Artificiales
Sobre este tutorial