ReLU

1El lugar donde se decide si un valor pasa

Una neurona pesa y suma los valores que le llegan de la capa anterior. Pero ese resultado no pasa directo a la siguiente capa: antes tiene que cruzar una regla, y ahí es donde se sienta la función de activación. ReLU lleva mucho tiempo siendo la opción por defecto (en los modelos de lenguaje actuales se usan a menudo variantes suavizadas), y lo que hace se resume en un solo umbral: si la suma es menor que 0, sale 0; si es mayor, sale el mismo valor que entró, sin tocarlo.

Sin este quiebre, apilar capas no serviría de nada. Encadenar solo multiplicaciones y sumas termina reduciéndose a una única multiplicación y una única suma. Hace falta un quiebre en medio para que cada capa pueda dibujar una forma nueva. ReLU mete, en cada capa, un quiebre baratísimo que ocurre justo en el 0.

2Apagar la mitad deja todo más nítido

Si una capa tiene miles de neuronas, cerca de la mitad recibe valores negativos y se convierte en 0. Una neurona apagada no aporta nada a la capa siguiente. Parece una pérdida, pero en realidad es una ganancia: en vez de que todas las neuronas hablen un poco a la vez, solo levantan la voz las que de verdad tienen algo que ver con esa entrada.

Cuando la señal que no aporta se apaga, la que queda se distingue mejor. En equipos que admiten cálculo disperso hay además margen para ahorrar trabajo, y entradas distintas terminan encendiendo neuronas distintas, con lo que aparece un reparto de tareas natural. A esta propiedad, donde buena parte de los valores queda en 0, se le llama escasez.

La misma entrada enciende unas neuronas y apaga otras, así que la combinación de neuronas encendidas cambia de capa en capa. De esa combinación sale la manera en que trozos rectos se encadenan hasta formar un límite curvo. Por eso una regla con un solo umbral, apilada capa tras capa, termina dibujando formas bastante complejas.

3Lo que hizo posible entrenar redes profundas

Una red neuronal aprende devolviendo hacia atrás qué tan lejos quedó de la respuesta correcta. En ese camino, la función de activación de cada capa multiplica su parte a la señal que vuelve. La curva suave en forma de S que se usaba antes multiplicaba valores muy pequeños en sus dos extremos. Con solo diez capas de por medio, la señal casi desaparecía y las primeras capas no llegaban a aprender nada.

ReLU deja pasar la señal sin recortarla en el lado donde está encendida. La función de activación ya no recorta la señal, así que, junto con buenos valores iniciales, normalización y conexiones de atajo, se puede aprender a través de capas mucho más profundas. Esta regla tan simple tiene parte del mérito de que las redes profundas pasaran de ser teoría en papel a funcionar de verdad.

4Neuronas que se quedan dormidas

También tiene un punto débil. Si una neurona termina recibiendo siempre valores negativos, sin importar la entrada, su salida queda fija en 0 y la señal que vuelve también es 0. No hay manera de corregirla y se queda así, congelada. A este estado se le llama neurona muerta.

Suele aparecer cuando la tasa de aprendizaje se fija demasiado alta. Un ajuste que se pasa de largo empuja a la neurona muy adentro del lado negativo, y ya no tiene fuerza para volver. Cuando muchas neuronas de una capa caen en este estado, esa capa solo ocupa espacio sin hacer ningún trabajo.

Por eso surgieron variantes que, en vez de aplastar del todo el lado negativo, lo inclinan apenas un poco. Dejar algo de señal, aunque sea mínima, abre un camino de vuelta. Fijar una tasa de aprendizaje baja o repartir bien los valores iniciales también ayuda a evitarlo en buena parte.