멀티헤드 어텐션Multi-Head Attention

헤드마다 맡는 관계가 달라요

한 문장을 놓고 헤드들이 무엇에 비중을 뒀는지 들여다보면 제법 뚜렷한 성격이 보여요. 어떤 헤드는 바로 앞 낱말에 꾸준히 비중을 둬요. 말이 이어지는 흐름을 붙잡는 쪽이에요. 어떤 헤드는 주어와 동사처럼 멀리 떨어진 짝을 이어 줘요. 또 어떤 헤드는 문장 첫머리나 문장 부호 쪽으로 비중을 몰아 두기도 해요.

이 역할을 사람이 나눠 준 게 아니에요. 학습이 진행되면서 헤드들이 알아서 서로 다른 일을 맡게 됐어요. 같은 일을 하는 헤드가 여럿 있으면 손해니까, 자연스럽게 갈라진 거예요.

다만 모든 헤드가 사람이 알아볼 만한 역할을 맡지는 않아요. 무엇을 하는지 설명하기 어려운 헤드도 많고, 없애도 성능이 거의 떨어지지 않는 헤드도 있어요.

하나만 쓰면 뭉개져요

헤드가 하나뿐이면 비중을 한 벌만 계산해요. 그런데 문장 안에는 동시에 성립하는 관계가 여럿이에요. "지수가 어제 산 케이크를 동생이 먹었다"에서 누가 샀는지, 무엇을 먹었는지, 언제인지가 모두 따로 붙어야 해요.

비중이 한 벌뿐이면 이 관계들을 한 표에 우겨 넣어야 하니 서로 섞여요. 어느 쪽에도 크게 기울지 못하고 평균 근처에 머무는 밋밋한 결과가 나와요. 합창단 전원이 한 선율만 부르는 상태와 같아요.

헤드를 나누면 각자 자기 관계만 또렷하게 볼 수 있어요. 서로 눈치 볼 필요 없이 각자 비중을 몰아 줄 수 있으니까요.

나눈다고 일이 늘지 않아요

여기서 자주 오해가 생겨요. 헤드를 여덟 개로 늘리면 계산도 여덟 배가 될 것 같지만 그렇지 않아요. 원래 한 헤드가 쓰던 폭을 여덟로 쪼개 나눠 갖기 때문이에요. 각 헤드는 좁아진 폭에서 일하고, 합쳐 놓으면 원래 폭으로 돌아와요.

합창단이 넷으로 나뉘어도 단원 수가 늘지 않는 것과 같아요. 같은 인원을 어떻게 배치했느냐의 문제예요. 덕분에 계산 비용을 거의 그대로 두고 표현력만 얻을 수 있어요.

마지막에 한 덩어리로 합쳐요

헤드마다 나온 결과는 따로따로 남지 않아요. 순서대로 이어 붙여 원래 폭의 한 덩어리로 만들고, 거기에 한 번 더 정리 과정을 거쳐요. 이 정리 단계에서 헤드들의 결과가 서로 섞이고 비중이 조절돼요.

이어 붙이기만 하고 끝내면 헤드들이 서로 남남으로 남아요. 마지막 정리가 있어야 네 성부가 한 화음이 되는 거예요.

헤드가 많을수록 좋지는 않아요

헤드를 계속 늘리면 각 헤드가 쓰는 폭이 그만큼 좁아져요. 폭이 너무 좁아지면 담을 수 있는 정보가 줄어서 오히려 성능이 떨어져요. 그래서 모델 크기에 맞춰 적당한 개수를 고르고, 보통은 여덟에서 수십 개 사이를 써요.

학습이 끝난 모델을 살펴보면 별 역할을 하지 않는 헤드가 상당수 발견돼요. 이런 헤드를 걷어 내 모델을 가볍게 만드는 방법도 연구돼 왔어요.