Puntos clave
- El gradiente es la señal que indica hacia qué lado y cuánto hay que girar cada perilla para que el error baje.
- Dirección e intensidad llegan juntas en un solo valor. El signo dice de qué lado; la magnitud, cuán empinada está la pendiente.
- Sale un gradiente por cada perilla del modelo. Si hay cientos de millones de perillas, hay cientos de millones de gradientes.
- El gradiente solo vale para el punto donde se está parado ahora mismo. Al dar un paso, hay que volver a medirlo desde cero.
- Cuando el gradiente se acerca a 0, ya no queda nada que aprender, o el camino para aprender está bloqueado.
La analogía
Frente a la ducha hay dos perillas: una de agua caliente y otra de agua fría. El agua está tibia y quieres que salga un poco más caliente. Giras apenas la perilla caliente y el agua que toca tu mano se calienta de golpe. Giras la perilla fría lo mismo y la temperatura apenas se mueve.
Lo que la mano acaba de descubrir es el gradiente: cuánto y hacia dónde se mueve la temperatura cuando se toca apenas una perilla. La perilla caliente tiene un gradiente grande; la fría, uno pequeño. Por eso, para mover la temperatura ahora, la perilla caliente es la que pesa mucho más.
Ese valor sale distinto para cada perilla. Y en cuanto la temperatura del agua cambia, también cambia cuál perilla es más sensible, así que hay que volver a tocarlas y medir de nuevo.
En detalle
Primero hay que saber cuánto y en qué se está fallando
El gradiente no aparece solo. Antes hace falta una regla que mida cuánto se está fallando ahora mismo. En la ducha, esa regla es la diferencia entre la temperatura deseada y la real. En un modelo, la cumple un solo número que resume qué tan lejos quedó la predicción de la respuesta correcta.
El lado donde ese número baja es la cuesta abajo. El gradiente solo indica hacia dónde está esa bajada; no dice dónde está el fondo. Es un guía que solo conoce la pendiente bajo los pies. Por eso entrenar no es saltar de una vez a la respuesta correcta: es medir el suelo y dar un paso, cientos de miles de veces seguidas.
Cada perilla saca su propio gradiente
La ducha solo tiene dos perillas, pero un modelo tiene cientos de millones de números ajustables por el entrenamiento. El gradiente sale uno por cada número, por separado. Tocar apenas algunos hace que el error se sacuda mucho; tocar otros de sobra apenas cambia el resultado.
Un solo cálculo alcanza para obtener todas esas señales de golpe. No se van probando las perillas una por una: se sigue hacia atrás el camino por el que salió la respuesta, y en ese recorrido cada número recibe de una vez la parte que le toca. A ese recorrido hacia atrás se le llama retropropagación.
La magnitud decide cuánto girar
Que el gradiente sea grande significa que esa perilla influye mucho en el resultado, como la del agua caliente. En el método más básico, los números con gradiente grande se mueven mucho, y los de gradiente pequeño, poco. Los métodos más usados hoy también ajustan el paso de cada número por separado, según qué tan grandes fueron sus gradientes anteriores. Aun así, no se confía en el gradiente tal cual para decidir el paso: se le multiplica por un valor aparte que fija qué tan largo es cada zancada.
Si la zancada es demasiado larga, se pasa de la temperatura ideal hacia el otro lado, y en el siguiente paso vuelve a pasarse en sentido contrario: el agua queda alternando entre caliente y fría sin asentarse nunca. Si la zancada es demasiado corta, la temperatura casi no cambia, y se pasa el día entero tocando la perilla.
Se vuelve a medir en cada paso
Un gradiente medido una vez solo vale exactamente en ese punto. En cuanto se gira la perilla, la temperatura del agua ya cambió, así que también cambió cuál perilla es ahora más sensible. Por eso el modelo vuelve a calcular el gradiente en cada paso.
Además, no se mide mirando todos los datos cada vez: se toma solo una muestra. Por eso el gradiente es una estimación que tiembla un poco en cada medición. Aun con ese temblor, la dirección suele apuntar bien, así que dando muchos pasos seguidos se termina bajando hacia el lado correcto.
Cuando el gradiente se acerca a 0
Que el gradiente sea casi 0 puede significar varias cosas. Que se llegó al fondo, o apenas a un hoyo más bajo que sus alrededores. Que se está sobre una silla de montar: sube hacia un lado y baja hacia el otro. Que el terreno alrededor está plano y da igual hacia dónde se mueva. O que la señal simplemente no llega hasta esa capa.
Los primeros casos se resuelven deteniendo el entrenamiento o cambiando el tamaño del paso. El último es otro problema. Cuando la señal se debilita capa tras capa hasta que la capa más cercana a la entrada ya no escucha nada, a eso se le llama desvanecimiento del gradiente.
Con más precisión
El gradiente es un vector que junta, en una sola fila, la derivada de la función de pérdida respecto a cada parámetro. Cada valor dice "cuánto sube la pérdida si ese parámetro crece apenas un poco". Por eso, al entrenar, en realidad se avanza en el sentido contrario al gradiente.
La analogía también tiene sus costuras. Una persona gira de verdad la perilla y comprueba la temperatura, pero el modelo no gira nada. Guarda registrado el orden de los cálculos que llevaron a la respuesta y recorre ese camino hacia atrás para obtenerlo por cálculo. Por eso, aunque haya cientos de millones de perillas, un solo recorrido hacia atrás alcanza para conseguirlas todas.
Otra diferencia: en la ducha, las dos perillas se sienten independientes entre sí, pero los números de un modelo están entrelazados. Cambiar uno también cambia el gradiente de los demás. Lo que el gradiente indica es, en el fondo, una guía válida solo para un cambio muy pequeño en el punto actual; si el movimiento es grande, esa guía deja de ser confiable.
Pruébalo
- TensorFlow Playground (laboratorio de redes neuronales) ailearn.space Al pulsar entrenar, la línea se mueve poco a poco. En cada paso se está recalculando el gradiente
- MLU-Explain (conceptos de aprendizaje automático explicados visualmente) ailearn.space Una colección de explicaciones visuales animadas de conceptos de aprendizaje automático
Malentendidos comunes
Es fácil pensar que cuanto más grande el gradiente, mejor avanza el entrenamiento, pero en realidad, si es demasiado grande, el paso se pasa de largo y el valor termina descontrolado, arruinando el entrenamiento.
Es fácil pensar que el gradiente solo indica la dirección, pero en realidad también lleva la magnitud, y esa magnitud a veces se usa para decidir qué tan largo es el paso.
Es fácil pensar que un gradiente en 0 significa haber llegado a la respuesta correcta, pero en realidad muchas veces significa quedar atrapado en una zona plana, o que la señal no llegó hasta esa capa.
Resumen en una línea
El gradiente es la señal que le dice a cada número del modelo hacia qué lado y cuánto moverse para que el error baje.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización 2026-10-17