Atención multi-cabezaMulti-Head Attention

Cada cabeza atiende a una relación distinta

Si se observa a qué le dan peso las cabezas en una misma frase, aparece un carácter bastante marcado. Alguna cabeza da peso constante a la palabra justo anterior: capta el hilo de la frase que continúa. Otra une pares lejanos, como sujeto y verbo. Otra concentra su peso en el principio de la frase o en los signos de puntuación.

Nadie repartió estos papeles a mano. A medida que avanza el entrenamiento, las cabezas terminan asumiendo tareas distintas por su cuenta. Como tener varias cabezas haciendo lo mismo sería un desperdicio, se separan de forma natural.

No todas las cabezas cumplen un papel que una persona pueda identificar, eso sí. Hay muchas de las que es difícil decir qué hacen, e incluso algunas que apenas afectan al resultado si se eliminan.

Con una sola, todo se difumina

Con una sola cabeza solo se calcula un juego de pesos. Pero dentro de una frase hay varias relaciones que se cumplen a la vez. En "el pastel que compré ayer se lo comió mi hermana", quién lo compró, qué se comió y cuándo tienen que quedar todos claros por separado.

Con un solo juego de pesos, esas relaciones se ven forzadas a caber en una misma tabla y se mezclan entre sí. El resultado es plano, sin inclinarse claramente hacia ninguna, cerca del promedio. Es como todo el coro cantando una sola melodía.

Al separar las cabezas, cada una puede ver con nitidez solo su propia relación, sin tener que ceder espacio a las demás.

Separar no aumenta el trabajo

Aquí suele nacer un malentendido. Parece que si se aumentan las cabezas a ocho, el cálculo también se multiplicaría por ocho, pero no es así. El ancho que antes usaba una sola cabeza se reparte entre las ocho. Cada cabeza trabaja en un ancho más estrecho, y al juntarlas se vuelve al ancho original.

Es como un coro dividido en cuatro grupos sin que aumente el número de cantantes: es la misma gente, solo colocada de otra manera. Gracias a esto se gana capacidad expresiva casi sin subir el costo de cálculo.

Al final se juntan en un solo bloque

Los resultados de cada cabeza no quedan por separado. Se unen en orden hasta formar un solo bloque del ancho original, y ese bloque pasa por otro paso de ajuste. En ese ajuste final es donde los resultados de las cabezas se mezclan y sus pesos se reparten entre sí.

Si solo se unieran sin ese último paso, las cabezas quedarían como desconocidas entre sí. Hace falta ese ajuste final para que las cuatro voces formen un solo acorde.

Más cabezas no siempre es mejor

Si se siguen aumentando las cabezas, el ancho de cada una se hace cada vez más estrecho. Cuando el ancho es demasiado pequeño, cabe menos información y el rendimiento empeora. Por eso se elige un número adecuado según el tamaño del modelo, normalmente entre ocho y unas pocas decenas.

Al revisar un modelo ya entrenado se descubren bastantes cabezas que casi no cumplen ningún papel. También se ha investigado cómo quitarlas para aligerar el modelo.