APRENDIZAJE DELTA-BAR-DELTA
En la actualidad se han propuesto, desde los campos de las RNA y la estadística, diversos métodos
alternativos al backpropagation dirigidos a estimar los pesos de la red de una forma mucho más
rápida y eficaz. Muchos de estos métodos alternativos son extensiones de la propia técnica de
gradiente decreciente como la regla delta-bar-delta basada en la utilización de tasas de aprendizaje
adaptativas aplicadas al valor del gradiente (Jacobs, 1988).
La regla delta-bar-delta se basa en que cada peso tiene una tasa de aprendizaje propia, y ésta se
puede ir modificando a lo largo del entrenamiento.
En el aprendizaje de retropropagación, discutido anteriormente, la misma tasa de aprendizaje se
aplica a todos los pesos. Por lo tanto, todos los pesos cambian a la misma velocidad. Sin embargo,
en la realidad, algunos pesos pueden estar más cerca de la óptima o tener una influencia más fuerte
en el error de que los otros y, por consiguiente, una mayor flexibilidad y una mayor velocidad de
convergencia podría lograrse si cada peso se deben ajustar de forma independiente en un adaptativa
manera. El método de la tasa de aprendizaje adaptativo, popularmente conocida como delta- bar -
delta, desarrollado por Jacob, se propone este tipo de ritmos de aprendizaje variables para diferentes
pesos.
Regla Delta-Bar-Delta
Una de las aceleraciones más empleadas es la regla conocida como "delta-bar-delta", que se basa en
la existencia de una constante de aprendizaje distinta para cada peso de la red. Se aplica la siguiente
regla a cada peso: si la dirección en la que el error decrece es la misma que la que en la que ha
decrecido recientemente aumenta el tamaño del paso. Si la dirección es opuesta, decremento el
tamaño del paso. La dirección en la que el error decrece se determina mediante el signo de la
derivada del error con respecto al peso en la época actual: si es positivo, el error crece al aumentar el
peso. Si es negativo, el error decrece al aumentar el peso.
Para ver la actividad clic aqui
0 comentarios:
Publicar un comentario