Tasa de aprendizajeLearning Rate

La dirección y el tamaño los fija cada uno por su lado

Para completar un paso de entrenamiento hay que decidir dos cosas: hacia dónde ir y cuánto ir. Lo primero sale de calcular la inclinación del punto actual; lo segundo, de un número que una persona anotó de antemano. Ese número es la tasa de aprendizaje.

Por eso la tasa de aprendizaje no mejora sola aunque se metan más datos. No es un valor que el modelo ajuste con el aprendizaje, sino uno que una persona elige antes de empezar a entrenar. A este tipo de valores se los llama hiperparámetros, y entre ellos, la tasa de aprendizaje es el que más sacude el resultado.

El gradiente lleva metida, además de la dirección, la magnitud de la pendiente. Por eso, con la misma tasa de aprendizaje, en un lugar empinado el movimiento es grande y en uno suave, chico. La tasa de aprendizaje funciona más bien como un multiplicador que se aplica sobre eso.

Si es demasiado grande, se pasa del fondo

Si el tramo de empuje es demasiado grande, no se llega a pisar el punto bajo: se lo salta. Es como dar un paso largo desde la ladera izquierda y terminar a mitad de la ladera derecha. Si desde ahí se vuelve a mover con fuerza hacia abajo, esta vez se cruza hacia la ladera izquierda.

Si este vaivén crece un poco en cada paso, el error termina subiendo en vez de bajar. En la pantalla de entrenamiento se ve el número de error bajar y de repente dispararse, o directamente volverse un valor sin sentido; la causa más común es una tasa de aprendizaje demasiado grande.

Si el entrenamiento se rompe apenas empieza, antes de tocar otros ajustes conviene bajar la tasa de aprendizaje a la mitad. Muchas veces alcanza con reducir el tramo para que todo vuelva a funcionar.

Si es demasiado chica, el día no alcanza

Si el tramo es demasiado chico, el error baja apenas un poco en cada paso. La dirección siempre es correcta, así que parece seguro, pero el tiempo para llegar a un punto útil se multiplica, y con él, el costo del entrenamiento.

Más molesto todavía es que no se logra pasar un punto poco profundo que se encuentra por el camino. Con un empujón un poco más fuerte se lo cruzaría sin problema, pero con el tramo tan chico se queda subiendo y bajando en el mismo lugar hasta que el entrenamiento termina. Si el error se detiene en un valor fijo y no sigue bajando, es momento de agrandar el tramo.

Grande al principio, chico después

Por eso es común no dejar fija la tasa de aprendizaje, sino cambiarla a medida que avanza el entrenamiento. Al principio se empuja fuerte para recorrer rápido una zona amplia, y cuando ya se está cerca del punto bajo, se achica el tramo para terminar con cuidado.

También es habitual empezar con un tramo muy chico para "entrar en calor" y subirlo poco a poco antes de volver a bajarlo. En los modelos grandes, si los primeros pasos rebotan fuerte, todo lo que viene después queda arruinado. Usado junto con el optimizador, que ajusta el estilo del paso en su conjunto, el tramo llega incluso a ajustarse solo según cada dirección.