GPT

名前の三文字が構造を語ります

一番後ろのトランスフォーマーは骨組みです。文の中の断片同士がどれだけ互いを参照するかを決める方式で、最近の言語モデルの大半がこの骨組みを使っています。

真ん中の事前学習は順番を語ります。誰が何を尋ねるか決まる前に、膨大な量の文章で基礎をあらかじめ身につけておくという意味です。使い道を決める前に作っておくわけです。

一番前の生成はすることです。与えられた選択肢の中から一つを選ぶのではなく、なかった文章を新しく作り出します。三文字をつなげると「トランスフォーマーで作り、あらかじめ身につけておいた、文章をつなぎ書きするモデル」になります。

前だけを見て右にだけ進みます

GPTにとって今の位置より後ろは存在しないのと同じです。学習するときから後ろの部分を隠しておいて次の断片を当てさせたからです。答えが横に置いてあれば当てる練習にならないからです。

一度出した断片を戻して直すこともありません。人は文を書いていて前の文を消してまた書きますが、GPTはすでに押されたスタンプをそのまま残した状態で、その後ろにつなげるだけです。話がずれ始めると、そのずれた部分まで前の文章として扱いつなげ続ける理由です。

もちろん「前の文をこう直して」と頼めば直してくれます。それは直した文を新しくつなぎ書きすることであって、すでに出た文字に戻って修正しているわけではありません。

一断片ごとにカードを最初から見直します

断片を一つつなげるたびに、GPTは今までの文章全体をまた読みます。十番目の断片を選ぶときは九個を、百番目の断片を選ぶときは九十九個を一緒に見ているわけです。

だから答えが長くなるほど、後ろに行くほど一断片を作るのにかかる作業が増えます。画面に文字がさらさらと流れ出て、後半になると少し遅くなる感じがするのもこのためです。会話が長くなると、それまでの会話まで毎回また読むので負担はさらに大きくなります。

一度に読み込める分量にも限りがあります。会話がその限度を超えると、古い前の部分から押し出されます。しばらく話しているうちに、最初に伝えた条件を忘れたように振る舞うことがありますが、押し出された部分はカードの上に残っていないからです。

一つを作っていろいろな場所で使います

以前は翻訳機、要約機、感情分類機を別々に作っていました。GPT方式は逆です。基礎を備えたモデル一つを先に作っておき、その次に指示文だけを変えていろいろな仕事をさせます。

同じモデルに「英語に訳して」と頼めば翻訳機になり、「三行に縮めて」と頼めば要約機になります。新しい機能をつけるたびにモデルを新しく作らなくてよくなったことが、言語モデルが急速にいろいろな分野へ広がった背景です。同じスタンプカードの仕組みを、宛先だけ変えてあちこちの窓口で使い回しているようなものです。