LoRA

El cuerpo queda bloqueado

Retocar el modelo entero mueve un poco todos sus valores internos. LoRA bloquea esos valores por completo. Mientras dura el entrenamiento, ni un solo valor del cuerpo cambia.

En su lugar, se pega un añadido pequeño en cada capa y se entrena solo ese añadido. Al calcular, se suma el valor que da el cuerpo con el valor que da el añadido, y eso pasa a lo siguiente. Es el mismo orden en que la luz atraviesa el lente antes de llegar al ojo. El ojo no cambió: lo que pasó es que la luz cruzó una capa extra antes de llegar a él.

Por qué el añadido puede ser tan chico

Aquí surge la duda: si el cuerpo tiene miles de millones de valores, ¿qué puede lograr un añadido de unos pocos millones?

El punto clave es que lo que hay que cambiar no es el valor en sí, sino cuánto cambia ese valor. El cambio que hace falta para acercarse a un tono o a un estilo suele tener una forma sencilla: se resume en unas pocas direcciones y el resto queda casi en cero. Una forma tan sencilla se puede guardar de sobra con solo superponer dos capas finas. Por eso, aunque el tamaño del añadido se reduzca a una fracción mínima del original, casi todo el cambio necesario cabe igual.

Qué tan fino se hace ese añadido lo decide una persona. Si se pone muy fino, el archivo queda chico y rápido, pero cabe menos cambio; si se pone más grueso, pasa lo contrario.

Se puede cambiar y superponer

Retocar el modelo entero deja, cada vez que termina, un modelo nuevo del mismo tamaño que el original. Con diez usos, se acumulan diez archivos grandes. Con LoRA hay un solo cuerpo y diez archivos pequeños de añadido. El espacio que ocupa y la molestia de moverlos son de otro orden.

También es flexible al usarlo: ahora este estilo, luego aquel, cambiando cuando se quiera, y hasta se pueden poner dos añadidos juntos y mezclarlos. También se puede ajustar con cuánta fuerza aplicar cada uno. Cuando en una herramienta de generación de imágenes se descarga un archivo de estilo y se le pone al modelo, es exactamente esto.

Lo que de verdad significa "liviano"

Al entrenar, se aligeran varios puntos a la vez. Como hay que corregir menos valores, también baja la cantidad de valores intermedios que hay que guardar durante el entrenamiento. Por eso, un modelo que sería impensable retocar entero cabe ahora en el equipo de una persona.

El resultado también pesa poco. Si el cuerpo ocupa decenas de gigabytes, es común que el añadido quede en apenas decenas de megabytes. Gracias a esa ligereza, se volvió costumbre compartir e intercambiar archivos de estilo entre la gente.

También tiene cosas que no puede hacer

El lente solo afina la luz que ya entra al ojo. No puede hacer visible lo que nunca llegó al ojo. Con LoRA pasa igual: no encaja bien para meterle al cuerpo un terreno que de entrada no conocía.

También llega a su límite cuando el cambio que se busca es muy grande. Como la forma de cambio que cabe está limitada, si se quiere llevar al modelo a un carácter muy distinto al original, al final conviene retocarlo entero. Cuando hay muchísimos datos y hace falta exprimir hasta el último rincón, se sigue eligiendo el retoque completo.