Conexión residualResidual Connection

1La capa solo aprende la diferencia

Una capa normal transforma por completo el valor que recibe y entrega un valor nuevo. Al añadirle un atajo, su papel cambia: ya no entrega un producto terminado, sino la diferencia entre el valor original y el objetivo. Por eso se le llama conexión residual: residual es lo que queda.

Bastarle con producir esa diferencia hace el trabajo de la capa mucho más fácil. Si el valor ya es bueno, la capa puede simplemente devolver algo cercano a 0 y no añadir nada. Es una diferencia mayor de lo que parece: sin el atajo, incluso "no hacer nada" exige ajustar los controles con precisión.

Con esto es posible apilar cien capas y que solo treinta trabajen de verdad. El resto se limita a dejar pasar el valor tal como llegó.

2Para sumar hace falta que el tamaño coincida

Para juntar el valor que llega por el atajo con el que produce la capa, las dos formas tienen que coincidir. Si el tamaño de los grupos de números es distinto, no se pueden sumar. Por eso los tramos que se conectan con un atajo suelen diseñarse para que el tamaño de entrada y de salida sea el mismo.

Donde el tamaño cambia sí o sí, se coloca una transformación muy ligera en el propio atajo, solo para igualar el tamaño. En los modelos de imagen, esto ocurre en los puntos donde la imagen se encoge y aumentan los canales. Aun así, la norma es mantener esa transformación al mínimo: si el atajo se complica demasiado, deja de ser un atajo.

3Sin atajo, cuanto más profundo, peor

Parece razonable pensar que apilar más capas da más capacidad y, por lo tanto, mejores resultados. Pero pasaba lo contrario. Al pasar de veinte a cincuenta y seis capas, el resultado empeoraba tanto en datos nuevos como en datos ya vistos durante el entrenamiento.

No era un problema de memorización. Si el modelo profundo se limitara a copiar lo que hacía uno más superficial, debería mantener al menos el mismo resultado, pero ni eso lograba. No faltaba capacidad: el entrenamiento no iba bien. Incluso cuando la normalización evitaba que la señal desapareciera, los modelos profundos seguían aprendiendo mal. Con la llegada del atajo, esta barrera cayó, y modelos con más de cien capas empezaron a rendir mejor de verdad.

4La señal de aprendizaje también vuelve por el atajo

El entrenamiento mide, arriba del todo, cuánto se alejó la respuesta del objetivo, y devuelve esa señal hacia las capas de abajo. Cada vez que la señal cruza una capa hacia atrás, se ve arrastrada por el cálculo de esa capa y se hace un poco más pequeña o más grande. Sin algo como la normalización, con decenas de capas la señal puede casi desaparecer antes de llegar a las primeras.

Con el atajo, la señal que vuelve también baja por ese camino. Al existir un canal que no pasa por ninguna capa, llega a las capas de abajo menos enredada y menos reducida. Esta es una de las razones por las que entrenar un modelo profundo, algo que la normalización por sí sola no resolvía, se volvió mucho más fácil.

5Hoy está en todos los modelos que se usan

El atajo tuvo su primer gran éxito en modelos de reconocimiento de imágenes, pero ahora forma parte básica de casi cualquier arquitectura. Si abres un bloque dentro de un modelo de lenguaje, normalmente encontrarás un atajo después de la atención y otro después de la capa que viene a continuación.

Así, en vez de reescribirse por completo capa tras capa, el valor mantiene un tronco grueso que sube recto de abajo hacia arriba. Cada capa solo le añade su parte a ese tronco. La normalización de capas suele venir pegada a este mecanismo, en parte porque ayuda a controlar que el valor crezca cada vez más al sumar sin parar.