Puntos clave
- El optimizador es la regla que recibe el gradiente y decide cómo mover los valores en la práctica. La dirección de partida, cuesta abajo, la da el gradiente y el tamaño base, la tasa de aprendizaje; el optimizador retoca ambos para armar el paso real.
- El primer truco es el impulso: si se viene moviendo hacia el mismo lado, hereda la velocidad del paso anterior y avanza con más fuerza.
- El segundo truco es dar un paso distinto según la dirección: al valor que recibe gradientes grandes se le reduce el paso, y al que los recibe pequeños se le agranda, de modo que el tamaño del paso se parece más entre valores.
- Con estos trucos se reduce el rebote de lado a lado en valles angostos y largos, y en el mismo tiempo se baja mucho más.
- Cambiar de optimizador no elimina la necesidad de fijar la tasa de aprendizaje. El tamaño base lo sigue poniendo una persona.
La analogía
En una carrera de relevos, si el siguiente corredor espera parado en la línea de salida, el tiempo del equipo se resiente: tiene que arrancar de cero justo al recibir la posta. Por eso el corredor ve venir al compañero y empieza a correr antes, para heredar directamente su velocidad.
La forma de correr también cambia según el tramo. En las curvas, el cuerpo se va hacia afuera, así que conviene acortar el paso y pisar más seguido; en las rectas, se estira la zancada al máximo. En la misma pista, el movimiento cambia según en qué tramo se esté.
Eso mismo hace el optimizador: hereda la velocidad del paso anterior y ajusta la zancada según el tramo. El rumbo general, cuesta abajo, lo indica el gradiente, y al optimizador le toca el estilo con que recorrer ese camino. Por ese estilo, la dirección del paso real también cambia un poco.
En detalle
Saber solo la dirección sale caro
El gradiente indica hacia qué lado baja el terreno desde donde se está. Pero moverse a rajatabla en esa dirección genera desperdicio, sobre todo en un valle angosto y largo, empinado de un lado y suave del otro.
En un lugar así, se rebota con fuerza hacia el lado empinado y se vuelve, una y otra vez, mientras que hacia el lado suave apenas se avanza. Debería bajarse en línea recta por el valle, pero en cambio se avanza a los zigzags, chocando contra las paredes. Se gastan muchísimos pasos y se baja muy poco.
El optimizador no usa el gradiente tal cual: lo retoca antes de aplicarlo. Guarda memoria de los pasos anteriores y la mezcla con el gradiente actual para armar el movimiento real.
El impulso reduce el rebote
El primer truco es heredar, en cierta proporción, la magnitud del paso anterior. Si se viene yendo siempre hacia el mismo lado, esa parte heredada se acumula y el paso crece; si la dirección se invierte a cada rato, esos aportes se cancelan entre sí y se apagan.
Aplicado al valle, el vaivén contra las paredes se reduce y queda solo el avance a lo largo del valle, que gana velocidad. Con esa velocidad guardada, hasta se puede pasar de largo por encima de un pozo poco profundo, así que también baja el riesgo de quedar atrapado en un punto a medias.
La proporción heredada suele fijarse cerca de conservar casi todo el paso anterior. Si se fija demasiado alta, el movimiento sigue empujando hacia el rumbo viejo un buen rato después de haber cambiado de dirección; si se fija demasiado baja, es como no tener impulso.
Dar un paso distinto según la dirección
El segundo truco es manejar por separado el tamaño del paso de cada valor. Se lleva un registro de qué tan grandes fueron los gradientes que recibió ese valor hasta ahora, y a los que recibieron gradientes grandes se les reduce el paso, mientras que a los que los recibieron pequeños se les agranda.
Este truco ayuda sobre todo con características que aparecen rara vez. El valor asociado a una característica que aparece de vez en cuando tiene pocas oportunidades de actualizarse, y agrandarle el paso permite aprovechar bien esas pocas ocasiones. Adam, un optimizador muy usado, combina estos dos trucos a la vez.
Aun así, el tamaño base lo pone una persona
Que el optimizador ajuste el paso por su cuenta no significa que ya no haga falta la tasa de aprendizaje. Lo que se ajusta por dirección es apenas un multiplicador; la línea base sobre la que se aplica ese multiplicador la sigue escribiendo una persona. Si esa línea base es grande, el movimiento rebota igual, por buenos que sean los demás trucos.
Por eso en la práctica es común dejar fijo un optimizador de uso extendido y ajustar solo la tasa de aprendizaje probando algunos valores. Corregir la tasa de aprendizaje suele mover el resultado más que cambiar de optimizador.
Con más precisión
El optimizador es la regla que recibe el gradiente y el historial de actualizaciones anteriores, y calcula cuánto se actualiza esta vez. La forma más simple es multiplicar el gradiente por la tasa de aprendizaje, lo que se conoce como descenso de gradiente estocástico. Sobre esa base fueron apareciendo, en orden, una variante que suma un término de impulso, y otra que acumula la magnitud de los gradientes anteriores para dividir el paso por dirección. Hoy lo más usado es la familia Adam, que combina el impulso con el ajuste por dirección.
La analogía también tiene sus costuras. En la pista de relevos se ven a simple vista las curvas y las rectas, pero en el entrenamiento no se sabe de antemano qué dirección es empinada: solo se infiere por el registro del tamaño de los gradientes recibidos hasta ahora. Además, el corredor cambia un solo paso según el tramo, mientras que el optimizador usa un paso distinto para cada valor en el mismo instante: es como si innumerables piernas fijaran cada una su propia zancada. Además, un optimizador que usa impulso o pasos por dirección guarda ese historial por separado para cada valor, así que con Adam hacen falta dos juegos extra de memoria del tamaño de los valores del modelo.
Pruébalo
Malentendidos comunes
Es fácil pensar que con un buen optimizador ya no hace falta preocuparse por la tasa de aprendizaje, pero en realidad el tamaño base lo sigue fijando una persona, y ese valor suele mover mucho el resultado.
Es fácil pensar que si al cambiar de optimizador baja el error de entrenamiento, también se rinde mejor con datos nuevos, pero en realidad el terreno en sí no cambia: solo varía por qué camino se baja por el mismo terreno y dónde se termina parando. Por eso, con un error de entrenamiento más bajo, el puntaje frente a datos nuevos a veces hasta empeora.
Es fácil pensar que el optimizador más reciente siempre es mejor, pero en realidad, según los datos y el modelo, un método antiguo y simple a menudo funciona mejor.
Resumen en una línea
El optimizador recibe la dirección cuesta abajo, hereda la velocidad anterior y ajusta el paso según cada dirección: es el estilo con el que se mueven los valores.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización 2026-10-17