GPT

1名前の三文字が構造を語ります

一番後ろのトランスフォーマーは骨組みです。文の中の断片同士がどれだけ互いを参照するかを決める方式で、最近の言語モデルの大半がこの骨組みを使っています。

真ん中の事前学習は順番を語ります。誰が何を尋ねるか決まる前に、膨大な量の文章で基礎をあらかじめ身につけておくという意味です。使い道を決める前に作っておくわけです。

一番前の生成はすることです。与えられた選択肢の中から一つを選ぶのではなく、なかった文章を新しく作り出します。三文字をつなげると「トランスフォーマーで作り、あらかじめ身につけておいた、文章をつなぎ書きするモデル」になります。

2前だけを見て右にだけ進みます

GPTにとって今の位置より後ろは存在しないのと同じです。学習するときから後ろの部分を隠しておいて次の断片を当てさせたからです。答えが横に置いてあれば当てる練習にならないからです。

一度出した断片を戻して直すこともありません。人は文を書いていて前の文を消してまた書きますが、GPTはすでに押されたスタンプをそのまま残した状態で、その後ろにつなげるだけです。話がずれ始めると、そのずれた部分まで前の文章として扱いつなげ続ける理由です。

もちろん「前の文をこう直して」と頼めば直してくれます。それは直した文を新しくつなぎ書きすることであって、すでに出た文字に戻って修正しているわけではありません。

3一断片ごとにカード全体を参照します

断片を一つつなげるたびに、GPTは今までの文章全体を一緒に参照します。十番目の断片を選ぶときは九個を、百番目の断片を選ぶときは九十九個を一緒に見ているわけです。

前の部分の計算は保存して使い回しますが、参照する量が増えるので、とても長い文章では後ろに行くほど一断片にかかる作業が少しずつ増えます。会話が長くなると、それまでの会話まで参照しなければならないので負担はさらに大きくなります。

一度に読み込める分量にも限りがあります。会話がその限度を超えると、サービスによって古い前の部分を切り捨てたり、短く要約して入れたりします。しばらく話しているうちに、最初に伝えた条件を忘れたように振る舞うことがありますが、切り落とされた部分はカードの上にそのまま残っていないからです。限度の中にすべて入っていても、文章が長くなると前のほうの指示を参照しにくくなって、似たことが起きる場合もあります。

4一つを作っていろいろな場所で使います

以前は翻訳機、要約機、感情分類機を別々に作っていました。GPT方式は逆です。基礎を備えたモデル一つを先に作っておき、それをもとにいろいろな仕事を処理します。最初はあらかじめ身につけたモデルを仕事ごとに少しずつ追加で学習させて使っていましたが、モデルが大きくなり指示に従うよう仕上げられるにつれて、指示文だけを変えて複数の仕事をさせられるようになりました。

同じモデルに「英語に訳して」と頼めば翻訳機になり、「三行に縮めて」と頼めば要約機になります。新しい機能をつけるたびにモデルを新しく作らなくてよくなったことが、言語モデルが急速にいろいろな分野へ広がった背景です。