ストリーミング応答Streaming

答えはもともと断片単位で作られます

言語モデルは答え全体を一度に思い浮かべるわけではありません。ここまで積み重なった内容を見て次に来る断片を一つ選び、その断片をつないでまた一つ選ぶことを繰り返します。答えが長ければこの過程が数百回、数千回と続きます。

だから答えが終わる前でも前半部分はすでにでき上がった状態で置かれています。ストリーミングはそのでき上がった部分を抱え込まず、そのつど送り出すだけです。なかった速さを新しく作る技術ではなく、すでにできたものを握りしめない方式です。

画面に一文字ずつ出るように見えても、実際の単位は断片なので、二、三文字がまとめて飛び出すこともあります。短い単語一つがまるごと現れる瞬間がそれです。

最初の文字までの時間が縮まります

応答の速さを語るときは二つの時間を分けて見ます。最初の断片が届くまでの時間と、断片と断片の間隔です。ストリーミングをつけると前者の時間が大きく縮まります。後者の間隔はそのままです。

人が感じるもどかしさの多くは前者の時間から来ます。何もない空白の画面を数秒見ることと、すぐに文字が流れ始めることでは体感がまったく違います。実際に読む速さより文字が早く出てくれば、全部出そろうまで待ったのとほぼ同じ感覚で読めます。

答えが長いほど差が大きくなります。答えが長いほど完成までの時間も長くなるので、でき上がるまで抱え込んでいると空白の画面を見る時間も一緒に延びます。

途中で止められます

流れ出る答えを見ていて方向がずれたと気づけば、すぐに止められます。質問を直して聞き直すほうが速いからです。このときまだ作られていない部分はそもそも計算されないので、その分だけ時間も費用もかかりません。

プログラム側でも同じことをします。必要な部分だけ受け取って接続を切ったり、流れてくる途中で禁止された表現が出たらその場で中断させたりします。答えを全部受け取ってから検査する方式より反応が速くなります。

向かない場面もあります

答え全体がそろって初めて判断できる作業には、ストリーミングはあまり役立ちません。決まった形式に合っているか検査してから渡さなければならなかったり、答えの中の値を取り出してほかのプログラムに入れなければならなかったり、複数の答えの中から一つを選ばなければならなかったりする場合です。どのみち最後まで待つ必要があるので、画面に先に流してみても意味がありません。

受け取る側が複雑になる問題もあります。断片が届くたびにつなぎ合わせ、途中で接続が切れれば立て直し、最後に終わったという合図を受けて締めくくらなければなりません。画面に文字を見せる用途でなければ、一度に受け取るほうがかえって単純です。