アテンションAttention

どのフェーダーを上げるか、どうわかるのか

調整担当は台本を見て判断します。アテンションは三つの情報を作って判断します。今処理している場所が「自分はこういうものを探している」という条件を出し、ほかの場所はそれぞれ「自分はこういうものを持っている」という名札を出します。この二つがよく合うほど、その場所のフェーダーが上がります。

実際に混ざる中身はまた別に用意されています。名札は「探す条件に合うか」を判定するためだけに使われ、フェーダーが上がった場所から実際に流れ出るのは、その場所が持っている中身です。図書館で検索語と本の題名を照らし合わせ、実際に読むのは本の中身であるのと同じです。

この三つはすべて同じ原本から、それぞれ違うやり方で取り出されたものです。どう取り出すかは学習の中で決まりました。人が規則を書き込んだ部分はありません。

重みをすべて足すと1になります

計算された点数はそのまま使われません。全部足すと1になるよう一度整えられます。だから「こちらが40パーセント、あちらが25パーセント」というふうに読めます。

このルールのおかげで競争が生まれます。ある場所に大きく重みを与えると、残りの場所は自動的に小さくなります。フェーダーを全部最大まで上げることはできないのと同じです。だからモデルは毎瞬間「何をあきらめて何を見るか」を選ぶことになります。

重みが一か所に集まることもあれば、複数の場所に均等に散らばることもあります。集まっていればその場所一つが決定的という意味で、散らばっていれば全体の雰囲気を広く参考にしているという意味です。

遠くにあっても直接届きます

以前の方式は文章を一語ずつ順番に渡しながら処理していました。文頭の言葉が文末まで届くには途中のすべての段階を経る必要があり、そのあいだに情報がぼやけました。長い文で主語を見失う問題はここから来ていました。

アテンションはこの構造をなくしました。今の場所から前のすべての場所を直接見られるので、二十語前に出た言葉もすぐ隣の言葉と同じ距離にあります。調整室でどのマイクでも手を伸ばせば届くのと同じです。長い文章で前のほうの名前や条件を最後まで保持できるようになったことが、アテンションの一番の成果です。

扱う対象が増えると調整卓が大きくなります

便利さには代償があります。すべての場所がすべての場所を見るということは、場所が二倍に増えると照らし合わせる組は四倍になるということです。マイクが十本なら調整卓でも間に合いますが、一万本になると話が変わります。

長い文書を入れたときに料金と時間が急に上がる理由がここにあります。そのため、近い場所だけを見させたり、代表となる場所だけを見させたり、計算の順序を変えてメモリを節約したりする工夫が次々と出てきています。

重みの表をのぞき見ること

どの言葉がどの言葉に重みを置いたかは数字として残ります。だからモデルが何を見て判断したかをうかがえる数少ない窓口だと考えられています。代名詞がどの名前を指すか、文の成分がどうつながるかが、この表に表れることが実際にあります。

ただ、この表をそのまま「モデルがこれを根拠にした」という説明として読むのは危険です。重みが高いからといって、それが判断の理由だったと断定はできません。参考資料としては優れていますが、証拠として使うには弱いのです。