¿Qué es Olvido catastrófico? — una analogía

1La analogía

Si se frota una barra de hierro muchas veces en una sola dirección con un imán, la barra se magnetiza en esa dirección. Ahora la barra atrae clips. La dirección con la que se frotó quedó grabada de un tirón en toda la barra.

Pero si esa misma barra se empieza a frotar en dirección contraria, a medida que se graba la nueva dirección, la que estaba grabada antes se va borrando. En poco tiempo, la barra solo responde a la dirección nueva. Es porque dentro de la barra no hay un compartimento aparte para guardar la dirección vieja. En una sola barra solo cabe una dirección.

El olvido catastrófico, cuando una IA pierde una tarea anterior al aprender una nueva, es exactamente como esta barra de hierro.

2En detalle

El conocimiento viejo y el nuevo usan el mismo lugar

Dentro de una red neuronal hay una cantidad enorme de números ajustables. Esos números no están repartidos en un "compartimento para gatos" y otro "compartimento para perros". Los dos conocimientos quedan superpuestos sobre el mismo montón de números.

Al entrenar una tarea nueva, esos números se van moviendo poco a poco hacia donde esa tarea sale mejor. El entrenamiento no revisa qué le pasa a la tarea vieja en ese nuevo lugar. Es lo mismo que ocurre en la barra al frotarla en la dirección contraria: la dirección que estaba grabada antes se ve empujada fuera, pero ahora sobre los números.

La raíz del fenómeno es que no hay compartimentos. Si los hubiera, el conocimiento nuevo se sentaría en un compartimento vacío; pero en la práctica, el conocimiento nuevo vuelve a usar los mismos números que ya ocupaba el viejo.

Solo se califica lo que se ve en ese momento

Entrenar es medir cuánto se erró y mover los números en esa medida. Pero ese error solo se calcula con los datos que se tienen a mano en ese momento. Si solo se meten datos nuevos, por más que se derrumbe la destreza anterior, el número que aparece en pantalla sigue mejorando. Parece que el entrenamiento va viento en popa, pero en realidad la capacidad anterior se está escapando.

La caída también es rápida. Es común que, con solo unas vueltas, la exactitud de la tarea anterior baje a menos de la mitad. No se va desdibujando poco a poco: cae de golpe, y por eso el nombre lleva la palabra "catastrófico".

Se agrava sobre todo cuando el dato nuevo es muy distinto del viejo. Si a un modelo entrenado con fotos se le muestran solo tablas, o si a uno acostumbrado a un tono casual se le muestra solo texto formal, la distancia que hay que recorrer es grande y el lugar viejo se sacude mucho más.

Tres formas de conservar la dirección anterior

La primera es mezclar dato viejo. En vez de meter solo dato nuevo, se muestra también, de a poco, dato de antes. Si ya no se puede usar el original, a veces se mezclan en su lugar las respuestas que daba el modelo anterior.

La segunda es atar los valores importantes. Se identifica primero qué números contribuyeron mucho a la tarea vieja, y se les pone una penalización fuerte si se mueven demasiado. A los números menos importantes se les da más margen.

La tercera es añadir una pieza aparte. Sin tocar los números originales, se pega al lado una pieza pequeña y se deja que solo ella se encargue de la tarea nueva. Es como dejar la barra frotada tal cual y añadirle otra barra nueva al lado: si hace falta, se puede quitar la pieza y volver al estado anterior.

Enseñar poco a poco, comprobando

Moverse poco cada vez también ayuda mucho. Si se pone chico el tamaño de cada paso y se enseña por poco tiempo, los números no se alejan demasiado de su lugar original. Si en vez de cambiar de un tirón a la tarea nueva se mezclan varias tareas y se enseñan juntas, de entrada se reduce cuánto se empuja hacia afuera.

Lo más importante es medir. Antes de enseñar algo nuevo, hay que anotar el puntaje en unas cuantas tareas anteriores, y después de terminar, volver a medir con los mismos problemas. Si solo se mira el puntaje de la tarea nueva, nunca se llega a saber qué se perdió por el camino.

También conviene guardar el estado anterior a enseñar en un archivo aparte. Si se decide que lo perdido pesa más que lo ganado, se puede volver a ese estado guardado y probar de nuevo con otra proporción de datos o otro tamaño de paso.

3Con más precisión

El olvido catastrófico (Catastrophic Forgetting) es el fenómeno por el cual, al entrenar varias tareas una tras otra, la tarea posterior sobrescribe los pesos de la anterior y el rendimiento de esta última cae de forma abrupta. Al campo que estudia este problema se le llama aprendizaje continuo. Los tres métodos mencionados se conocen, en orden, como repetición, regularización y separación estructural. Cuanto menos se parecen las tareas entre sí, más grave suele ser la caída, y a la medida que resume cuánto se perdió en las tareas anteriores se le llama transferencia hacia atrás.

La analogía también tiene sus costuras. La barra de hierro solo puede guardar una dirección, pero una red neuronal tiene cientos de millones de números, así que hay cierto margen para que distintas capacidades convivan superpuestas. Por eso, si se mezclan bien los datos al enseñar, a veces se logra sostener varias tareas a la vez. Y otra cosa: el magnetismo que se pierde en la barra desaparece de verdad, pero el peso de un modelo no desaparece, solo se desplazó. Por eso, con solo volver a mostrar un poco del dato viejo, la destreza suele regresar mucho más rápido que la primera vez que se aprendió.

4Pruébalo

Teachable Machine ailearn.space Entrena primero con dos categorías, borra después todas esas fotos y vuelve a entrenar solo con categorías nuevas. Lo que antes acertaba bien empieza a tambalear

5Malentendidos comunes

Es fácil pensar que un modelo grande tiene margen de sobra para recordarlo todo, pero en realidad, sin importar el tamaño, si solo se repite dato nuevo, el puntaje de la tarea vieja baja igual.
Es fácil pensar que, como se sumó conocimiento nuevo, el modelo se volvió más inteligente en general, pero en realidad, mientras sube el puntaje de la tarea nueva, alguna tarea que no se volvió a medir puede estar derrumbándose en silencio.
Es fácil pensar que se parece al olvido humano, pero en realidad el olvido de las personas suele ser gradual, mientras que este fenómeno se derrumba de golpe en pocas vueltas, así que la naturaleza es distinta.

7Resumen en una línea

En resumenEl olvido catastrófico es, como una barra que solo puede guardar una dirección, la pérdida de la destreza anterior cuando el entrenamiento nuevo sobrescribe los números que la sostenían, y mezclar algo de dato viejo y medir el puntaje anterior es la defensa básica.

¿Te ayudó esta analogía?

¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02