マルチヘッドアテンションMulti-Head Attention

ヘッドごとに受け持つ関係が違います

一つの文について各ヘッドが何に重みを置いたかを見てみると、かなりはっきりした性格が見えてきます。あるヘッドはすぐ前の単語に一貫して重みを置きます。言葉のつながりを捉える側です。あるヘッドは主語と動詞のように離れた組を結びつけます。またあるヘッドは文頭や句読点のほうに重みを寄せていたりもします。

この役割は人が割り振ったものではありません。学習が進むにつれて、ヘッドどうしが自然と違う仕事を担うようになりました。同じ仕事をするヘッドが複数あっても損なので、自然に分かれていったのです。

ただし、すべてのヘッドが人にわかる役割を持つわけではありません。何をしているのか説明しにくいヘッドも多く、取り除いても性能がほとんど落ちないヘッドもあります。

一つだけだとぼやけます

ヘッドが一つしかないと、重みを一組しか計算できません。ところが文の中には同時に成り立つ関係が複数あります。「明日が締め切りの資料を後輩が仕上げた」では、誰が締め切りを抱えているのか、何を仕上げたのか、いつなのかが、すべて別々に結びつく必要があります。

重みが一組だけだと、これらの関係を一つの表に押し込むことになり、互いに混ざり合ってしまいます。どちらにも大きく傾けず、平均あたりに留まる平坦な結果になります。合唱団全員が一つの旋律だけを歌う状態と同じです。

ヘッドを分ければ、それぞれが自分の関係だけをくっきり見られます。互いに気兼ねせず、それぞれ重みを寄せられるからです。

分けても仕事は増えません

ここでよく誤解が生まれます。ヘッドを八つに増やすと計算も八倍になりそうですが、そうではありません。もともと一つのヘッドが使っていた幅を八つに分けて持つからです。各ヘッドは狭くなった幅の中で働き、合わせると元の幅に戻ります。

合唱団が四つに分かれても団員の数は増えないのと同じです。同じ人数をどう配置したかの問題です。おかげで計算コストをほぼそのままに、表現力だけを得られます。

最後に一つの塊に合わせます

ヘッドごとに出た結果はばらばらのままでは残りません。順番につなぎ合わせて元の幅の塊にし、そこにもう一度整理の過程を通します。この整理段階でヘッドどうしの結果が混ざり合い、重みが調整されます。

つなぎ合わせるだけで終えてしまうと、ヘッドどうしが赤の他人のまま残ります。最後の整理があってはじめて、四つのパートが一つの和音になるのです。

ヘッドは多ければよいわけではありません

ヘッドを増やし続けると、各ヘッドが使う幅がそれだけ狭くなります。幅が狭すぎると詰め込める情報が減り、かえって性能が落ちます。そのためモデルの規模に合わせて適度な個数を選び、たいていは八個から数十個の間を使います。

学習を終えたモデルを見てみると、たいした役割を果たしていないヘッドがかなり見つかります。こうしたヘッドを取り除いてモデルを軽くする方法も研究されてきました。