コンテキストウィンドウContext Window

場所を測る単位は断片です

物干し台で靴下とタオルが違う場所を取るように、文章も長さだけでは場所が分かりません。モデルは文章を断片に切り分けて扱い、その断片の数がそのまま占める場所になります。

同じ意味を込めても、日本語は英語より断片が多く入ります。だから同じ分量に見える文書でも、日本語のほうが場所をずっと多く使います。表や箇条書きが多い文書、数字がたくさん入った資料も思ったより断片を食います。

上限が「断片何万個」のように示される理由がここにあります。文字数では正確に数えられないからです。

一つの場所を何者かで分け合います

物干し台に干されるのはその日の洗濯物だけではありません。モデルの前に広げられる場所には、サービスがあらかじめ入れておく指示文、これまで交わした会話、今回入れた質問、そして貼り付けた文書がすべて一緒に乗ります。

これから書く答えの場所もあらかじめ空けておく必要があります。質問で場所をいっぱいにすると答えが入る場所がなくなります。長い文書をまるごと入れたら答えが急に短くなったり途中で切れたりするのはこのためです。

あふれると前から取り込まれます

会話が長くなって場所が足りなくなると、古い部分から押し出されます。最初に「丁寧語は使わないで」と伝えておいたのに、ずっとあとでまた丁寧語が出てくるのは、そのお願いがすでに物干し台から取り込まれてしまったからです。

モデルが忘れたのではなく、そもそも見えない状態になったのです。記憶をたどる機能があるのではなく、毎回場所に干されているものだけを最初から読み直す仕組みだからです。

押し出し方はサービスによって違います。前の部分をそのまま切り落とすこともあれば、前の会話を短く要約して場所を節約することもあります。要約しておくと大筋は残りますが、細かい表現は消えます。

場所が広がれば良いことだけでしょうか

物干し台を大きなものに替えれば一度にたくさん干せます。代わりに部屋を多く取ります。コンテキストウィンドウも同じです。場所が広いほど入れられる文書は増えますが、毎回その多い内容を最初から読み直さなければならないので答えが遅くなり、費用も一緒に上がります。

真ん中がぼやける問題もあります。場所に非常にたくさん干されていると、最初と最後はよく押さえつつ、真ん中あたりの内容を見落とす傾向が現れます。場所が広いからといって、その中のすべてを同じように丁寧に見るわけではないのです。

場所を節約して使う方法

いちばん確かな方法は必要なものだけを干しておくことです。分厚い資料をまるごと押し込むより、質問に関係する部分だけを探して入れれば場所も節約でき答えも正確になります。

長い会話なら途中で一度整理するのもよいです。ここまでの要点を数行にまとめて新しい会話を始めると、取り込んだ洗濯物をたたんでタンスにしまうのと同じ効果が出ます。守ってほしい条件は会話の最初だけに置かず、必要なときにまた書いておくほうが安全です。