人の介入Human in the Loop

AIが働く流れの重要な場面に人の判断を差し込む方式

  • 入門
  • 5分で読める
  • 図 3点

ポイント

  • 運用中の人の介入はすべての段階を人が見る方式ではありません。取り消しにくい、または影響が大きい場面の手前に人を残しておく方式です。
  • 人がすることは大きく三つに分けて見られます。止める、選ぶ、直すです。どれかによって画面の形が変わります。
  • 確認欄があるからといって確認になるわけではありません。 見きれない量と速さで押し込めば、確認は名前だけ残ります。
  • 人は機械が出した答えをそのまま信じる方向に傾きます。これを踏まえてわざと見返させる仕掛けが必要です。
  • 確認を生かす条件ははっきりしています。見る量を減らし、根拠を一緒に見せ、違うと言いやすくすることです。

たとえで理解する

セルフ式ガソリンスタンドでは機械がほとんどをこなします。決済も機械が受け、入った量も機械が測り、決めた分だけ入ると自分で止まります。人がすることはあまりありません。

ですが一か所だけ人の手が残っています。ノズルを差し込む前に油種を選ぶ場面です。他の段階は間違ってもやり直せば済みます。金額を押し間違えても取り消してまた入れればいいからです。油種だけはそうはいきません。一度入れると自分では抜き出せず整備工場に頼むことになり、知らずにエンジンまでかけると車の手入れが必要になります。

人の介入が置かれる場所もこう決まります。すべての段階を人が覗き込むのではなく、間違えば取り返しがつかない一点の手前に人を立たせておくことです。何度も入れているうちに取っ手の色だけを見て通り過ぎるようになる点まで似ています。

くわしく

取り消せる作業と取り消せない作業

AIに任せる作業のほとんどは取り消せます。下書きを書かせて気に入らなければまたやらせればよく、資料を分類させて間違っていれば移せばよいです。こうした場面に一件ずつ確認を掛けると、速さは落ちるのに得るものは少ないことが多いです。

取り消せない作業は性格が違います。メールを送る作業、お金が出る作業、ファイルを消す作業、外部へ公開する作業、予約を確定する作業がここに入ります。自分で何段階も進める道具が増え、こうした地点も自然に多くなりました。貸付、採用、医療のように人への影響が大きい判断は、形の上では取り消せても人の確認を置くことが多いです。どこに人の確認を置くべきかは、国や分野によって規則が違います。

だから最近の道具は流れを二種類に分けています。自動で進む区間と、立ち止まって人に尋ねる区間です。どこに敷居を置くかが、その道具の性格をほぼ決めます。

人がすることは大きく三つに分けて見られます

一つ目は止めることです。そのまま出してよいかだけを判断し、はいかいいえで答えます。最もよくあり最も速いですが、判断する材料が画面になければただ「はい」を押すだけになります。

二つ目は選ぶことです。AIが二、三の案を出し、人が一つを取ります。何が違うか目に見えるので判断が実際に起きます。代わりに案を作るのに時間が余計にかかります。

三つ目は直すことです。結果を人が手直しして出します。最も手間がかかりますが、残るものがあります。人が直した部分は次の学習や規則の手入れに使える材料になるからです。

確認が名前だけ残るとき

人は機械が出した答えを疑わない方向に傾きます。前に九十九回合っていたなら百回目も合っているだろうと思うようになります。人を立たせておいても事故が起きる状況で、よく挙げられる原因がここです。

ここに量が重なると確認は大きく弱まります。一日に数百件上がってきてほとんどが問題なければ、画面をめくる動作だけが残ります。根拠が一緒に見えないともっと悪くなります。結論だけあってなぜそうなのかがなければ、人はつかまるところがありません。

断りにくい雰囲気も一役買います。差し戻すと仕事が増え、説明しなければならず、みんな待っているとなれば、人は通す方向に傾きます。確認を生かすには、違うと言うほうが損にならないようにしなければなりません。

確認を実際に働かせるには

一つ目は量を減らすことです。すべての件を人に送らず、あいまいなものだけを上げます。AIが自分で付けた確信度が低いもの、いつもと違うもの、金額が大きいものといった基準を決めてふるい分けるのです。

二つ目は根拠を一緒に映すことです。何を見てそう判断したか、どんな資料を根拠にしたかが同じ画面にあってこそ人は見返せます。三つ目は取り消す余地を残すことです。送ったあと少しの間取り消せる時間を置けば、確認そのものの負担が減ります。

もう少し正確に

人の介入は二つの場所で使われる言葉です。一つは作る段階です。データに正解を付け、出てきた答えに良し悪しを付けて学習に返す作業がここに入ります。もう一つは運用段階です。実際に動いている最中に人が承認したり選んだりする場面を指します。同じ名前で呼ばれますが目的は違います。

近い言葉もいくつかに分かれます。流れの中に人が必ず入らないと進まない方式、人は横で見守っておかしいときだけ止める方式、普段は手を出さないが最終権限は人にあると決めておく方式がそれぞれ違う名前で呼ばれます。どちらかによって人が負う責任の重さも変わります。

比喩がずれる点もあります。給油は確認する点が一つとはっきりしていて、正しいか間違っているかが取っ手の色で見えます。AI側は確認する点が何か所にも散らばっていて、画面を見ただけでは何が間違いか分かりにくいことが多いです。人が常に優れているという保証もありません。人のほうがかえって間違えやすい種類の判断もあり、人を挟むだけで安全が生まれるわけではありません。

やってみる

よくある誤解

  • 人が確認するから安全だと思われがちですが、実際には見きれる量と根拠が与えられたときだけ確認が確認として働きます。

  • 段階ごとに人を置けばより安全だと思われがちですが、実際には件数が多いとき、すべて確認させるほど一件一件をきちんと見るのが難しくなることがあります。ただし分野や国によっては、すべての件を人が確認するよう定めている場合もあります。

  • AIの性能が良くなれば人の介入はなくなると思われがちですが、実際には、性能が良くなっても取り消せない作業の手前には人の確認を残すべきだという見方が多くあります。ただしどこまで人を外してよいかは、仕事の種類や社会の合意によって意見が分かれます。

ひとこと要約

つまり

人の介入は取り消しにくい、または影響が大きい場面の手前に人を立たせておく方式であり、見る量と根拠がそろっていなければ確認という名前だけが残ります。

誤りや、もっと良いたとえがありますか? 修正を提案する · 最終更新 2026-10-18