位置エンコーディングPositional Encoding

1順番を失ってしまう構造

文を一語ずつ順に渡しながら処理していた以前の方式には、順番の問題がありませんでした。処理する順番がそのまま順番だったからです。その代わり遅かったのです。

今使われている方式は、すべての場所が互いを一度に見ます。おかげでとても速くなりましたが、代償が生まれました。全員が同時に互いを見ると、誰が先に出てきたのかわかりません。「犬が猫を追いかけた」と「猫が犬を追いかけた」が、同じ単語の集まりに見えてしまいます。

そのため順番の印を付けておく必要があります。すべての場所を同じように見比べる計算だけでは、単語の順番を区別できないからです。

2番号を内容に足します

最初に提案された方式では、印は断片の横に別々に付くのではありません。断片の内容を表す数字の並びに、同じ大きさの順番の数字の並びを足して一つにします。すると、その場所の値には「何であるか」と「何番目か」が一緒に入ることになります。

足して混ぜても構わない理由は、収める場所に十分な余裕があるからです。数字の並びの項目は数百から一万を超える規模で、内容と順番が互いに違う方向へ収まる余地があります。学習を経て、モデルは二つを見分けて読む方法を身につけます。

3印を作る二つの系統

最初に提案された方式は、人が決めた規則で印を作りました。いくつもの周期の波を重ねて、場所ごとに違う模様が出るようにするやり方です。学習が要らず、学習時に見たことのない長さにも番号そのものは計算して振れます。ただし、番号を振れることとモデルがその長さをうまく扱えることは別なので、実際には学習した長さを超えると性能が落ちます。

もう一つの系統は、印そのものを学習で決めさせる方式です。場所ごとに数字の並びを一つずつ用意し、学習中に値が合うようにします。データに合った印が得られますが、あらかじめ用意した場所数を超えると、付ける番号がなくなります。

4絶対番号より二つの間の距離

何番目かをそのまま記す方式には弱点があります。同じ文が文書の前のほうにあるか後ろのほうにあるかで番号がまったく変わってしまいますが、実際に大事なのは「この単語とあの単語が何マス離れているか」であることが多いのです。

そこで最近は、二つの場所の距離そのものが計算に表れるように作った方式が広く使われています。場所の番号に応じて値を少しずつ回転させ、二つの場所を見比べるときに自然とその間の距離が反映されるようにする方法です。前後どこに置かれても同じ間隔なら同じ関係として読まれます。ただし学習で見た長さを超えるとこの方式も揺らぐので、次のように別途手直しが必要です。

5座席数を超えると

学習のときに見たことのない、とても遠い場所番号が入ってくると、モデルが揺らぎます。劇場にない座席番号が書かれたチケットを受け取ったようなものです。文章が急に不自然になったり、前の部分を見失ったりすることが起きます。

コンテキストウィンドウを広げる作業が単に数字を大きくするだけの問題ではない理由がここにあります。印を広い範囲に合わせて調整し直す必要があり、たいてい伸びた長さで少し追加学習させる過程も一緒に行います。