テキスト生成Text Generation

1前を見て次の一段を決めます

AIは答えを頭の中で完成させてから書き写すのではありません。今までに置かれた断片を全部見て次に来る断片を一つ選び、その断片をつないでからまた全体を見て次の断片を選びます。この作業を終わるまで繰り返します。

画面に文字がずらずらと流れ出るように見えるのは、断片が一つずつ作られている最中だからです。答えが長いほど時間がかかるのも同じ理由です。断片一つごとに計算が一回入ります。

選ぶときは候補ごとにそれらしさが点数付けされます。「今日は天気が」の後には「いいですね」が高い位置にあり、「冷蔵庫」はほぼ底です。この順位は学習した文章で、どんな文脈の後にどんな言葉が来るか、そのパターンを覚えた結果です。

2探してくるのではなく作ります

生成された文章がどこかに保存された文を取り出したものだと誤解しやすいです。モデルの中に文章の倉庫はありません。あるのは次の断片を選ぶために使われる数字のかたまりだけです。

だから世界で一度も使われたことのない文が出てくることがあります。自分の名前と自分の家の犬の名前が一緒に入った詩を頼んでも作り出します。どこにもその組み合わせを見たことがないのに作り出すという点が、この技術の力であり危うさでもあります。

同じ理由で、存在しない事実もそれらしく作られます。 断片を選ぶ基準は「事実か」ではなく「この場所に来てもよさそうか」だからです。存在しない論文の題名や存在しない条項番号がなめらかに出てくるのはこのためです。

ただし、学習のときによく見た文章は数字のかたまりにほぼ覚え込まれているので、既存の文がそのまま再び出てくることもあります。

3毎回同じには出てきません

最もそれらしい断片だけを選び続けると文章は安全になりますが硬くなり、同じ表現が繰り返されます。そのためふつうは上位候補の中から少し揺らして選びます。 同じ質問でも答えがたいてい変わる理由です。

この揺らしの幅は調節できます。幅を狭めると答えが安定し、事実を扱う仕事に向きます。広げると表現は多様になりますが、見当違いの断片が紛れ込む確率も一緒に上がります。

同じ答えをもう一度受け取りたいなら、会話をやり直すより、その答えをそのまま貼り付けて直してほしいと頼むほうがよいです。二回目の試みが一回目より良い保証はありません。

4一度出した断片は取り消しません

文章を書いていて前の文が気に入らなければ、人は消して書き直します。生成はそうしません。すでに出た断片は次の断片を選ぶときそのまま根拠として使われます。

だから序盤でずれた断片一つが文章全体を引きずります。最初の文で存在しない人物を作り出したら、その後の段落はその人物がいるという前提の上で続きます。すでに書いた断片は消せないので、前の間違いを直すには、後ろで「さっきの言葉は間違いだった」と付け加えるしかありません。それすらできずに引きずられることも多いです。

答えが変な方向に流れたら、続けて直してほしいと頼むより、最初からやり直させるほうがだいたい良い結果になります。店主が新しい未加工の鍵をはさむのと同じです。

5前に何を置くかが結果を決めます

生成は常に前に置かれた文章から続きます。頼む言葉、それまでの会話、貼り付けた資料がすべて最初の溝になります。同じモデルでも前に何を置いたかによって結果が大きく変わる理由です。

望む形式を見本として一つ付けてあげると、その形式に沿います。話し方を決めてあげると、その話し方で続きます。反対に何も決めてあげなければ最も無難な方向へ流れて、どこかで見たような文章が出てきます。

長さも前もって指定できます。ただし断片数で決まる上限が別にあるので、上限に達すると文の途中で急に切れます。