RetropropagaciónBackpropagation

Un recorrido de ida, uno de vuelta

Un paso de entrenamiento es un ida y vuelta. Primero se meten los datos y se los pasa por las capas en orden para producir una respuesta: es el lado de meter el auto al túnel. Se compara esa respuesta con la correcta y se mide el error.

Después viene el camino de vuelta. El error se le entrega a la última capa, y esa capa calcula cuánto contribuyeron sus propios valores al error y le pasa el resto a la capa anterior. Ese traspaso llega hasta la primera capa. Cuando los dos caminos terminan, cada valor del modelo queda con una nota que dice "corregite así, esta cantidad".

Los resultados intermedios del recorrido de ida no se descartan: hay que guardarlos, porque vuelven a hacer falta en el camino de vuelta. Esta es la primera razón por la que entrenar consume mucha más memoria que usar un modelo ya terminado.

Por qué hay que recorrer desde el final

También se podría pensar en revisar etapa por etapa desde el principio: cambiar un valor apenas un poco y medir cuánto cambia el resultado. Pero cada vez que cambia un valor hay que hacer pasar el túnel entero de nuevo. Si hay cientos de millones de valores, habría que repetir esto cientos de millones de veces.

Recorrer hacia atrás elimina ese desperdicio. Si ya se conoce la parte de una etapa de atrás, la parte de la etapa anterior sale con apenas unas pocas multiplicaciones. Con un solo recorrido de atrás hacia adelante se obtienen a la vez las partes de todos los valores. Gracias a este orden, el tiempo de entrenamiento se mantiene manejable sin importar cuántas capas se apilen.

Después de repartir la parte, se mueven los valores

La retropropagación termina en el reparto de las partes. Mover los valores según esas partes es tarea del descenso de gradiente. Cuánto se mueve lo decide la tasa de aprendizaje, y con qué estilo se mueve, el optimizador. Los roles quedan así divididos.

Las partes se recalculan cada vez que se ve un nuevo lote de datos. Con el mismo valor, un lote puede pedir subirlo y el siguiente, bajarlo. Por eso se usa un método que no reacciona de golpe a una sola parte, sino que se mueve un poco cada vez.

Cuanto más se recorre hacia atrás, más se difumina la parte

El recorrido hacia atrás va multiplicando un valor en cada capa que atraviesa. Si ese valor es menor que uno, la parte se achica capa tras capa, y al llegar a la primera capa queda casi en cero. Así se produce el desvanecimiento del gradiente, donde las capas de adelante dejan de aprender y se quedan quietas.

Al revés, si el valor que se multiplica es grande, la parte se infla al recorrer hacia atrás y los valores se disparan. Por eso son tan comunes los atajos que saltan capas, o los mecanismos que reajustan la escala de los valores en cada capa.

Los modelos profundos tardaron mucho en poder entrenarse por este mismo problema. El procedimiento de recorrer hacia atrás se conocía desde antes, pero solo cuando aparecieron los mecanismos que hacen llegar la parte viva hasta las primeras capas se pudo apilar capas sin límite.