ポイント
- 説明可能性は、AIが出した判断についてなぜそう見たのか根拠を示せる度合いです。正確かどうかとは別の問題です。
- 最も広く使われる方法は、入力のどこを大きく見たかを示すことです。写真なら判断に大きく効いた場所、文章なら大きく効いた単語を指し示します。
- 条件を一つだけ変えてみる方法もあります。ある項目を変えたら結果がひっくり返るなら、その項目が理由に近いということです。
- 示される説明がモデルが実際にたどった計算と同じだという保証はありません。もっともらしく作られた事後の説明かもしれません。
- 説明をあとから付けるより、最初から中が見える形に作るほうが確実ですが、複雑な問題では性能を少し差し出すという見方があります。表のように整理されたデータでは差がほとんどないという研究もあり、意見は分かれます。
たとえで理解する
車を修理に出して「4万円になります」の一言だけ返ってくると、お金は払えても気持ちは晴れません。隣の店では紙を一枚一緒に渡してくれます。どの部品を交換し値段はいくらか、手入れに何時間かかったか、なぜ今交換すべきだったのかが行ごとに書かれています。
同じ4万円でも、こちらは確かめられます。値段がおかしければどの行がおかしいか指せますし、次にどこを先に手入れすべきかも見えます。明細書があれば、客は整備士と同じ画面を見ることになります。
AIにこの明細書を求めることが説明可能性です。結果を一言だけ投げる代わりに、何をどれだけ見てそう判断したかを行ごとに広げて見せることです。
くわしく
結果の一言では確かめられません
AIが出すものはたいてい短いです。この写真はどちらに近い、この文章は危険に見える、この申請は基準に届かないといった一言です。判断が人に影響する場面なら、この一言だけでは何もできません。間違っていると言おうにも、どこが間違っているか指せないからです。
根拠があれば三つのことが可能になります。間違った判断を正せますし、判断がおかしな手がかりに頼っていないか検査できますし、判断を受けた人に何を直せばよいか伝えられます。
実際に根拠を開いてみて初めて問題が分かることも多いです。皮膚がんを見分けるモデルが、悪性が疑われる病変の写真によく一緒に写っていた定規を手がかりにしていたといった具合です。研究者がわざと作った実験では、雪の背景だけを見てオオカミと犬を分けるモデルが説明ツールで見つかったこともあります。正解率の数字だけでは気づきにくいことです。
どこを見て判断したかを示す
最もよく使われる説明方法は、入力のどの部分が判断に大きく効いたかを示すことです。写真なら判断に多く使われた場所が明るく塗られて出てきて、文章なら単語ごとにどれだけ効いたかの大きさが付きます。
計算の方法はいくつかあります。一つは「この部分を隠すと結果がどれだけ揺れるか」を測る方式で、入力をごくわずかに変えたとき結果がどれだけ敏感に変わるかを測る方式も広く使われます。隠す方式では、隠したときに結果が大きく変わればそこを大きく見ており、隠してもそのままなら大して見ていないということです。修理明細書の行ごとに付いた金額に似た場所です。
この表示はどこを見たかは教えてくれますが、何をなぜそう解釈したかまでは教えてくれません。明るく塗られた場所が見えても、その場所をどんな理由で危険と見たのかは依然として人が推測しなければなりません。
条件を一つだけ変えてみる
別の方法は変えてみることです。他の項目はそのままにして一つだけ変え、もう一度尋ねてみることです。勤続年数だけ延ばしてみたら結果がひっくり返ったなら、勤続年数がこの判断を分けた条件だったということです。
こうした説明は受け取る側に特に役立ちます。「なぜだめなのか」より「何が違えばよかったのか」に答えてくれるからです。あいまいな根拠の一覧より、一行の具体的な条件のほうがずっと伝わります。
ただし変えてみた条件が現実で変えられるものでなければ意味がありません。手の出せない項目を持ち出して「これが違えばよかった」と言う説明は、慰めにも案内にもなりません。
説明が本当の理由ではないこともあります
ここで一番気をつけるべき点が出てきます。ほとんどの説明は、判断が終わったあとに外側で別に計算した結果です。モデルの中で実際に起きた計算をそのまま書き写したものではありません。
だからもっともらしいが事実ではない説明が出ることがあります。対話型AIになぜそう答えたのか尋ねると滑らかな理由を付けてくれますが、その文章もそれらしい言葉をつないで作った結果です。実際の計算過程を覗いて報告しているわけではありません。
説明を作る方法はいくつもあるので、同じ判断に違う説明が付くこともあります。説明は参考資料であって証拠ではないと見るほうが安全です。
最初から中が見えるように作る道
あとから説明を付ける代わりに、最初から人が読める形でモデルを作る道もあります。条件を木の枝のように分けた規則型や、項目ごとにいくらか足し引きする単純な形なら、判断の過程そのものが明細書になります。
複雑な問題では性能が少し落ちるという話がありますが、表のように整理されたデータでは差がほとんどないという研究もあり、意見は分かれます。だから現場では複雑なモデルに説明を付けて使うこともあれば、最初から中が見えるモデルを選ぶこともあります。問題とデータによって判断が変わります。
何を選んでも最後の安全装置は人です。説明を読んでおかしな根拠を見つけたときに判断を止められる場があってこそ、説明が役に立ちます。
もう少し正確に
説明可能性は二つに分けて見るほうが正確です。一つはモデルの構造自体が人に追って読める場合、もう一つはすでに作られたモデルの判断を外側から解きほぐす場合です。後者を事後説明と呼びます。入力を少しずつ隠しながら結果の変化を測る方法、項目ごとに寄与度を割り振る方法、判断の近くだけで単純な代理モデルを作って真似る方法がここに入ります。
比喩がずれる点もあります。修理明細書は整備士が実際にした作業を書いた記録ですが、事後説明は外側で再構成した推定です。整備士にもう一度聞けば同じ答えが返りますが、説明方法を変えると根拠の順位が変わることもあります。また明細書の項目は互いに独立していますが、モデルが見る手がかりは互いに絡み合っていて、一項目の取り分をきっちり切り分けるのは難しいです。
説明が付いたからといって判断が正しくなるわけでもありません。説明は判断の質を保証せず、検査する材料を与えるだけです。
やってみる
よくある誤解
説明が付けば判断を信じてよいと思われがちですが、実際にはもっともらしい説明が付いた誤った判断のほうがかえって危険です。
AIに理由を尋ねれば本当の理由を教えてくれると思われがちですが、実際にはその答えもそれらしい文章を作り出した結果です。
説明できるモデルは必ず精度が落ちると思われがちですが、実際には問題によって異なります。複雑な画像や文章の問題では差が出るという見方がありますが、表のように整理されたデータでは差がほとんどないという研究もあります。
ひとこと要約
説明可能性はAIの判断に明細書を求めることであり、その明細書は検査する材料を与えるだけで判断が正しいという保証書ではありません。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新 2026-10-18