較正Calibration
言った確率と実際に当たった割合を合わせること
- 較正はモデルが言った確率と実際に当たった割合を並べて合わせることです。
- 測り方は決まっています。同じ数字を言ったものどうしを集めて、そのうち実際に何割当たったかを数えます。
- たくさん当てることと正しく言うことは別のことです。 よく当てながらもいつも大げさに言うモデルがあります。
- 最近のモデルはだいたい自信たっぷりのほうへ偏ります。 言った数字が実際より高く出ます。
- 直す方法はモデルを作り直すことではなく、外から目盛りをつけ直すほうです。
目次
1たとえで理解する
家にある温度計が今日は25度だと教えてくれます。この数字を信じてよいでしょうか。確かめる方法は一日分を見ることではありません。この温度計が25度だと言った日々を何か月分か集めておいて、その日々の実際の気温を別に測るのです。
集めてみると、その日々の実際の気温が平均30度だったなら、この温度計はいつも低く言う癖があります。逆に平均25度に近く出たなら、この温度計は言ったとおりに教えてくれる温度計です。よく合う温度計かどうかは、一日の数字ではなく同じ数字を言った日々を集めてはじめて分かります。
較正はこの癖を見つけ出して目盛りをつけ直すことです。AIが出す確率にも同じことをします。80と言ったものを集めて、そのうち本当に八十が当たったかを数えるのです。
2くわしく
同じ数字を言ったものどうしを集めてみる
一件だけ見ても何も分かりません。モデルが80と言った答え一つが外れたからといって、その80が間違った数字だとは限りません。十回に二回は外れると言っている数字だからです。
だから複数の件を集めます。モデルが出した確率を似た値どうしにまとめておき、まとまりごとに実際に当たった割合を数えます。60と言ったまとまりでは十のうち六が、90と言ったまとまりでは十のうち九が当たってこそ、目盛りが合っているということです。
こうしてまとまりごとに言った値と当たった割合を見比べると、どの区間でずれているかが見えます。低いほうではよく合うのに高いほうだけ大げさな言い方をするモデルもあれば、どの区間でも均等に大げさなモデルもあります。ずれの大きさをまとまりごとに測って平均すれば、一つの数字としても見られます。
自信たっぷりのほうへ偏る癖
最近使われている大きなモデルは、たいてい実際より高く言います。90と言ったものを集めてみると、実際には七、八しか当たらないといった具合です。学習が正解をできるだけはっきり当てる方向に流れていくので、言い切り方がだんだん強くなっていくのです。
言葉で答えるモデルは、この偏りがいっそう目立ちます。間違った内容を正しい内容とまったく同じ口調で言うからです。確かだという言い方が実際に当たる見込みとつながっていないと、聞く側はどこで立ち止まって確かめればよいか分かりません。
逆の方向に偏る場合もあります。あまりに慎重で、いつも低く言うと、正しい答えも頼りなく見えてそのまま素通りされてしまいます。どちらの方向であっても、数字をそのまま信じられないという点は同じです。
目盛りをつけ直す作業
直す方法はたいていモデルの外で行われます。温度計を新しく買うのではなく、目盛り盤を貼り替えるようなものです。触っていなかった資料で言った値と実際の割合を見比べ、そのずれを打ち消す変換を一つ加えます。
いちばん単純な方法は、モデルが出す値全体を一つのつまみで柔らかくしたり強めたりすることです。確率を作る直前の段階の値を一つの調整値で割って、全体的に言い切りを弱めます。区間ごとにずれが違うなら、区間ごとに目盛りをつけ直す方法を使うこともあります。
大事なのはこの作業に使う資料です。学習に使った資料で目盛りを合わせると、すでに覚えた答えなので実際より合っているように見えてしまいます。目盛り合わせにも、手を付けていない別の資料が必要です。
よく当てることと正しく言うことは違う
二つのモデルが同じように十のうち九を当てるとします。片方はいつも99と言い、もう片方は90前後で言います。当てる実力は同じですが、後ろのモデルだけ目盛りが合っています。前のモデルの数字を信じて人の確認を飛ばすと、見落としが生まれます。
逆に目盛りだけ合っていて実力はさっぱりという場合もあります。何を尋ねても五分五分だと言うモデルは、実際にも半分ほど当たるので目盛りは合っているようなものですが、まったく役に立ちません。だから当てる実力と目盛りは、いつも一緒に見ます。
目盛りが大事になる場面は決まっています。確率を見て人が関わるかどうかを決める場所、複数のモデルの判断を確率で合わせる場所、確率に値をかけて損得を計算する場所です。こうした場面では数字が少し膨らむだけで、決定がまるごとずれてしまいます。
3もう少し正確に
較正はモデルが出す確率の値が実際の頻度と一致するようにすることです。確率を区間に分け、区間ごとに言った平均値と実際に当たった割合の差を測り、その差を区間の大きさで重みづけして平均した値をずれの大きさとする方法が広く使われています。この値が小さいほど目盛りが合っているとみなします。確率を作る最後の段階の値を一つの値で割って全体を柔らかくする方法がいちばん簡単で、区間ごとに単調な対応表を作って付け直す方法もあります。
たとえがずれる点もあります。温度計には実際の気温という見比べる対象がいつもありますが、モデルの確率には見比べる対象が一件ごとには存在しません。この答えが当たる確率80という言葉は、その一件については確かめようがなく、複数件を集めてはじめて意味が生まれます。だから較正はいつも集団単位の性質であって、一件の性質ではありません。
全体の目盛りが合っているからといって、どこでも合っているわけでもありません。資料をグループ別に分けてみると、あるグループでは膨らみ、あるグループでは低く出ていて、両方が打ち消し合って全体では合って見えることがあります。グループ別に別々に測ることもあわせて必要な理由です。
4やってみる
5よくある誤解
確率が高ければその分信じてよいと思われがちですが、実際には目盛りが合っていなければ90という数字が十のうち九を意味するとは限りません。
よく当てるモデルは目盛りも合っていると思われがちですが、実際には当てる実力と言葉の目盛りは別々に動くので、それぞれ測る必要があります。
較正するにはモデルを学習し直さなければならないと思われがちですが、実際には手を付けていない資料で外から目盛りをつけ直すだけでたいてい解決します。
7ひとこと要約
つまり較正は80と言ったものを集めて本当に八十が当たったか数え、ずれた目盛りをつけ直すことです。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02