Estructuras
de las Redes Neuronales Artificiales
Los aspectos más característicos de las estructuras son la
estructura de conexión, el tamaño de la red y la elección
entre ACON y OCON.
Estructuras de conexión de atrás hacia delante
Una red neuronal se determina por la neurona y la matriz de pesos
.
El comportamiento de la red depende en gran medida del comportamiento de
la matriz de pesos. Hay tres tipos de capas de neuronas: la de entrada,
las ocultas y la de salida. Entre dos capas
de neuronas existe una red de pesos de conexión, que puede ser de
los siguientes tipos: Hacia delante, hacia atrás, lateral y de retardo,
tal como puede verse en la siguiente figura:
-
Conexiones hacia delante: para todos los modelos neuronales, los
datos de las neuronas de una capa inferior son propagados hacia las neuronas
de la capa superior por medio de las redes de conexiones hacia adelante.
-
Conexiones hacia atrás: estas conexiones llevan los datos
de las neuronas de una capa superior a otras de la capa inferior.
-
Conexiones laterales. Un ejemplo típico de este tipo es el
circuito "el ganador toma
todo" (winner-takes-all), que cumple un papel importante en la elección
del ganador.
-
Conexiones con retardo: los elementos de retardo se incorporan en
las conexiones para implementar modelos dinámicos y temporales,
es decir, modelos que precisan de memoria.
Las conexiones sinópticas pueden ser total o parcialmente interconectadas,
como muestra la figura. También
es posible que las redes sean de una capa con el modelo de pesos hacia
atrás o bien el modelo multicapa hacia adelante. Es posible así
mismo, el conectar varias redes de una sola capa para dar lugar a redes
más grandes.
Tamaño de las Redes Neuronales
En una red multicapa de propagación hacia delante, puede haber una
o más capas ocultas entre las capas de entrada y salida.
El tamaño de las redes depende del numero de capas y del número
de neuronas ocultas por capa.
-
Número de capas: en una red multicapa, hay una o más
capas de neuronas ocultas entre la entrada
y la salida. El número de capas se cuenta a menudo a partir del
número de capas de pesos (en vez de las capas de neuronas).
-
Número de unidades ocultas: El número de unidades
ocultas está directamente relacionado con las capacidades de la
red. Para que el comportamiento de la red sea correcto (esto es, generalización),
se tiene que determinar apropiadamente el número de neuronas de
la capa oculta.
AproximacionesACON
frente a OCON
Abordamos el problema de cuantas redes son necesarias para la clasificación
en multicategorias. Típicamente, cada nodo de salida se usa para
representar una clase. Por ejemplo, en un problema de reconocimiento alfanumérico,
hay 36 clases; así que en total habrá 36 nodos de salida.
Dado un patrón de entrada en la fase
de prueba, el ganador (i.e., la clase que gana) es normalmente
el nodo que tiene el valor más alto a la salida.
Dos posibles tipos de arquitectura son "All-Class-in-One-Network"
(ACON), esto es, todas las clases en una red y "One-Class-in-One-Network"
(OCON), esto es, una red para cada clase. En la aproximación
ACON, todas las clases son reconocidas dentro de una única súper
red. En algunos casos es ventajoso descomponer esta macro red en varias
subredes mas pequeñas. Por ejemplo, una red de 36 salidas se puede
descomponer en 12 subredes, cada una responsable de tres salidas. La descomposición
mas extrema es la llamada OCON, donde una subred se dedica para una sola
clase. Aunque el número de subredes en la estructura OCON es relativamente
largo, cada subred individual tiene un tamaño menor que la red ACON.
Esto se puede explicar con las siguientes figuras,
la red entera
se divide en
varias subredes.
Por conveniencia, supongamos que todas las redes tienen el mismo tamaño,
por ejemplo k. El número de unidades ocultas de las macro-red
ACON se denota por K. Obviamente, k << K. Las
dos estructuras difieren claramente en tamaño y rapidez, esto es,
en el número total de pesos sinápticos y en el tiempo de
entrenamiento. Sean los vectores de entrada y salida de dimensiones n y
N respectivamente. El número total de pesos sinápticos es
para la estructura ACON (N+n) * K. De la misma forma, el
número para la estructura OCON es N * (n+1) * k
approx. N*n * k . Los dos casos extremos son analizados a
continuación. Cuando N es relativamente pequeña (comparado
con n), la estructura ACON podría tener el mismo número
de pesos o algo menos que la OCON. Si N es muy grande, entonces
la OCON podría tener una mayor ventaja en términos del tamaño
de la red. Además, la OCON parece ser que aventaja a la ACON en
la rapidez de reconocimiento y entrenamiento cuando el número de
clases es grande.
En la estructura ACON, la única macro-red tiene que "satisfacer"
todas estas clases, así que el número de unidades ocultas
K
ha de ser muy grande.
Aplicaciones
Contenido
Redes Neuronales Artificiales
Sobre este tutorial
