Puntos clave
- La atención multi-cabeza es la forma de mirar la misma entrada desde varios ángulos a la vez y después juntarlo todo en uno solo.
- A cada ángulo se le llama cabeza. Cada cabeza da peso a algo distinto.
- Con un solo ángulo, varias relaciones se difuminan en un promedio. Al separarlas, cada una capta su propia relación con nitidez.
- Separar no aumenta el trabajo. El ancho que antes usaba una sola cabeza se reparte entre todas.
- Lo que ve cada cabeza se une al final en un solo bloque antes de pasar al siguiente paso.
La analogía
Un coro canta la misma letra, pero repartida en voces. Las sopranos llevan la melodía aguda, las contraltos la de debajo, y los tenores y bajos, más abajo todavía. Misma partitura, misma letra, pero cada voz escucha y aporta algo distinto. Y al final las cuatro voces se funden en un solo acorde. Así es la atención multi-cabeza.
¿Qué pasaría si no se repartieran las voces y todos cantaran la misma melodía? Habría sonido, pero sin cuerpo. La riqueza del acorde solo aparece cuando se canta algo distinto a la vez.
Repartir las voces tampoco significa que haya más cantantes. Es el mismo número de personas, solo colocadas en cuatro grupos.
En detalle
Cada cabeza atiende a una relación distinta
Si se observa a qué le dan peso las cabezas en una misma frase, aparece un carácter bastante marcado. Alguna cabeza da peso constante a la palabra justo anterior: capta el hilo de la frase que continúa. Otra une pares lejanos, como sujeto y verbo. Otra concentra su peso en el principio de la frase o en los signos de puntuación.
Nadie repartió estos papeles a mano. A medida que avanza el entrenamiento, las cabezas terminan asumiendo tareas distintas por su cuenta. Como cada cabeza parte de valores iniciales distintos y se entrena por separado, en general terminan separándose en direcciones distintas, aunque a veces quedan cabezas que hacen cosas parecidas.
No todas las cabezas cumplen un papel que una persona pueda identificar, eso sí. Hay muchas de las que es difícil decir qué hacen, e incluso algunas que apenas afectan al resultado si se eliminan.
Con una sola, todo se difumina
Con una sola cabeza solo se calcula un juego de pesos. Pero dentro de una frase hay varias relaciones que se cumplen a la vez. En "el pastel que compré ayer se lo comió mi hermana", quién lo compró, qué se comió y cuándo tienen que quedar todos claros por separado.
Con un solo juego de pesos, esas relaciones se ven forzadas a caber en una misma tabla y se mezclan entre sí. El resultado es plano, sin inclinarse claramente hacia ninguna, cerca del promedio. Es como todo el coro cantando una sola melodía.
Al separar las cabezas, cada una puede ver con nitidez solo su propia relación, sin tener que ceder espacio a las demás.
Separar no aumenta el trabajo
Aquí suele nacer un malentendido. Parece que si se aumentan las cabezas a ocho, el cálculo también se multiplicaría por ocho, pero no es así. El ancho que antes usaba una sola cabeza se reparte entre las ocho. Cada cabeza trabaja en un ancho más estrecho, y al juntarlas se vuelve al ancho original.
Es como un coro dividido en cuatro grupos sin que aumente el número de cantantes: es la misma gente, solo colocada de otra manera. Gracias a esto se gana capacidad expresiva casi sin subir el costo de cálculo.
Al final se juntan en un solo bloque
Los resultados de cada cabeza no quedan por separado. Se unen en orden hasta formar un solo bloque del ancho original, y ese bloque pasa por otro paso de ajuste. En ese ajuste final es donde los resultados de las cabezas se mezclan y sus pesos se reparten entre sí.
Si solo se unieran sin ese último paso, las cabezas quedarían como desconocidas entre sí. Hace falta ese ajuste final para que las cuatro voces formen un solo acorde.
Más cabezas no siempre es mejor
Si se siguen aumentando las cabezas, el ancho de cada una se hace cada vez más estrecho. Cuando el ancho es demasiado pequeño, cabe menos información y el rendimiento empeora. Por eso se elige un número adecuado según el tamaño del modelo, normalmente entre ocho y unas pocas decenas.
Al revisar un modelo ya entrenado se descubren bastantes cabezas que casi no cumplen ningún papel. También se ha investigado cómo quitarlas para aligerar el modelo.
Con más precisión
La atención multi-cabeza proyecta la entrada completa en un subespacio pequeño por cabeza, con una transformación distinta para cada una, calcula la atención por separado en cada uno, une los resultados y aplica una transformación lineal más para devolverlos a la dimensión original. La dimensión de cada cabeza suele ser la dimensión total dividida entre el número de cabezas, así que el cálculo total se mantiene parecido al de usar una sola cabeza.
Cada cabeza aprende transformaciones distintas de consulta, clave y valor. Como esas transformaciones son diferentes, la misma entrada produce tablas de pesos distintas. Eso sí, muchos modelos grandes recientes ahorran memoria haciendo que varias cabezas compartan las transformaciones de clave y valor, y dejan separada solo la de consulta. El número de cabezas y la dimensión por cabeza suelen mantenerse iguales en todas las capas.
La analogía también tiene sus costuras. En un coro, la partitura ya indica de antemano qué registro lleva cada voz, pero en las cabezas no hay esa asignación previa: lo que cada una termina asumiendo surge solo durante el entrenamiento, y una persona solo puede observarlo después e intuirlo. Y aunque en el coro los sonidos suenan realmente mezclados a la vez, los resultados de las cabezas no se superponen: se colocan uno junto a otro y luego se vuelven a mezclar.
Pruébalo
Malentendidos comunes
Es fácil pensar que más cabezas significa más cálculo, pero en realidad el ancho total se reparte entre ellas, así que el costo se mantiene casi igual.
Es fácil pensar que cuantas más cabezas mejor rendimiento, pero en realidad el ancho por cabeza se estrecha, y pasarse de la cuenta empeora los resultados.
Es fácil pensar que una persona asignó el papel de cada cabeza, pero en realidad surgió solo durante el entrenamiento, y hay cabezas difíciles de explicar.
Resumen en una línea
La atención multi-cabeza es como las voces de un coro: varios ángulos observan la misma frase, cada uno a su manera, y al final se funden en un solo acorde.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización 2026-10-17