チャットボットChatbot

台本を読んでいた頃

初期のチャットボットは規則の一覧でした。入ってきた文の中からあらかじめ決めておいた言葉を探し、その言葉に結び付けた答えをそのまま出します。少し進んだ形は、文をいくつかの用件に先に分類してから、用件ごとに用意された答えを取り出しました。

この方式の長所ははっきりしています。答えがあらかじめ検討済みの文なので、会社が言っていないことが出ることがなく、なぜその答えになったのか説明できます。今でも規約や金額を案内する場所には、この方式が残っています。

問題は、人がいつも違う言い方で尋ねることでした。「返金できますか」「お金を返してほしいんですけど」「これ返品できますか」をすべて同じ用件としてとらえるには、例文を数千個も手で埋めなければなりませんでした。新しい商品が出るたびに、その作業を一から繰り返していたのです。

文章を組み立てる窓口へ

今のチャットボットは台本を選びません。目の前の言葉のあとに続く言葉を一かけらずつ選んでつなぎながら、答えを組み立てていきます。だから用意したことのない質問にも答えが出て、同じ質問でも毎回少しずつ違う文章が返ってきます。

同じ理由で口調も変えられます。丁寧に、短く、敬語で、といった指示を前に添えるだけで、答えの雰囲気がまるごと変わります。以前の方式では、口調を変えるには台本を全部書き直す必要がありました。

会社の資料を一緒に読ませます

言語モデルは世の中の文章で学びましたが、自社の返金規定までは知りません。知らないまま尋ねると、どこかの規定を混ぜてもっともらしい文章を作ってしまいます。

そこで最近の相談チャットボットは、答えを組み立てる前に社内文書から質問に関係する部分を先に探します。見つけた部分を質問と一緒にモデルに渡し、この内容を根拠に答えるよう指示する方式です。この方法をRAG(Retrieval-Augmented Generation、検索拡張生成)と呼びます。

こうすると規定が変わったときに、モデルを学習し直さず文書だけ差し替えればすみます。答えにどの文書の何ページを見たかを添えられることも大きな利点です。

覚えているように見える理由

チャットボットは基本的に毎回初対面の状態です。会話が続いているように見えるのは、新しい質問を送るたびにそれまでのやり取りをまるごと一緒に付け足して送っているからです。

だから会話が長くなると二つのことが起きます。毎回送る量が増えて答えが遅くなり、一度に入れられる上限を超えると前の部分から切り捨てられます。しばらく話し込んだあと最初に伝えた名前を忘れたようにふるまうのは、このためです。だから長い相談では、それまでの会話を短くまとめておいて、その要約だけを入れ直す方式を使います。

答えるだけでなく仕事もします

最近の相談窓口は案内だけで終わりません。注文番号を受け取って配送状況を調べたり、予約を変更したり、対応が難しければ人の担当者に引き継いだりします。モデルが直接処理するのではなく、どの機能をどんな値で呼ぶかを決めるだけで、実際の実行はプログラムが行います。

だからよくできたチャットボットには、答えられない場所がはっきり設計されています。確信がなければ人に引き継ぎ、お金が絡む処理は必ずもう一度確認させるといった具合です。