セルフアテンションSelf-Attention

外からではなく中でやり取りします

アテンションそのものは、もともと二つの集まりをつなぐために使われていました。翻訳するとき、原文側の単語と訳文側の単語を結びつけるような使い方です。尋ねる側と答える側が別の文でした。

セルフアテンションはこの二つを一つに合わせました。尋ねる側も答える側も同じ文です。だから「自分自身」という意味の名前が付きました。この単純な変更がトランスフォーマーという構造を可能にし、今使われているほとんどの言語モデルがこの上に立っています。

各場所が三つの役割を同時に担います

各場所は三つのものを差し出します。「自分はこういうものを探している」というメモ、「自分はこういうものを持っている」という名札、そして実際に渡す中身です。郵便受け一つが、手紙も出せば名札も掲げ、返事の中身も用意しているようなものです。

メモと名札がよく合うほど、その場所から来る返事の重みが大きくなります。重みを全部足すと1になるので、どこか一か所を大きく参考にすると、ほかは自動的に少なく参考にすることになります。

この三つはすべて同じ原本から、それぞれ別のやり方で取り出されたものです。どう取り出すかは学習で決まりました。

返事を集めると内容が変わります

返事を集め終えたあと、各場所の内容はそのままではありません。集めてきたものを重みどおりに混ぜて自分の内容に反映します。その結果「それ」という場所には前に出てきた「ケーキ」の情報が濃くしみ込み、「明るい」という場所には、その前に出てきたのが部屋なのか性格なのかがしみ込みます。

同じ文字が文によって違うものを意味するようになるのは、ここで起きることです。文一つだけを見れば「橋」は箸とも橋とも取れますが、前後の言葉の返事を集めたあとには、食事の道具のほうか渡る構造物のほうかが決まります。

全員が同時に働きます

以前の方式は、最初の単語を処理し終えないと二番目の単語に進めませんでした。列に並んで順番を待つ構造だったのです。セルフアテンションにはそういう順番がありません。すべての場所がすべての場所を一度に見るので、全部同時に計算できます。

この点が実際にいちばん大きな変化を生みました。計算装置が数千の作業を一度にこなすのが得意な性質とぴったり合い、学習速度が比べものにならないほど速くなりました。今日の大きなモデルが生まれた実質的な理由です。

その代わり順序の情報が消えます。全員が同時に互いを見ると、誰が先で誰が後かわからなくなるからです。そのため各場所に順序を示す印を別に付けてやる必要があります。

層を重ねると視野が広がります

一度返事を集めて終わりではありません。更新された内容を持ってもう一度メモを回し、それを何層も繰り返します。二層目では、すでに文脈のしみ込んだ内容どうしがやり取りするので、はるかに広い関係を見られます。

下の層は隣の言葉との関係や文法的な組み合わせを主に捉え、上の層に行くほど文全体の主題や論理の流れのようなものを捉える傾向が観察されます。層ごとに見るものが少しずつ違うのです。