責任Accountability

手を加えた場所は複数あります

AIが出す結果一つには、たいてい三つの場所が絡んでいます。データを集めてモデルを学習させた側、そのモデルに案内文と画面を付けてサービスとして売る側、そしてそのサービスを自分の業務に持ち込んで使った側です。

それぞれ手を加えられる範囲が違います。作った側は何を学習に入れ、どんな限界があるかを知っています。売る側はどんな用途で使うよう案内したか、危険な要求を選り分ける仕組みを付けたかを決めます。使った側はこの道具をどの場所に置いたか、結果を人が見てから渡したかを決めます。手を加えられた分だけが答えるべき分になります。

だから同じ間違いでも、どこで分かれたかによって聞くべき場所が変わります。そもそも使ってはいけない場所に置いたのなら作った側の性能問題ではありませんし、案内された用途の中で使ったのに見当違いの答えが出たのなら使った人だけを責めるのは難しくなります。

記録がなければ問いようがありません

責任を見極める作業のほとんどは記録をたどり直す作業です。どんな要求が入ったか、どんな資料を根拠にしたか、どんな設定で動かしたか、結果を誰が受け取ってどう処理したかが残っていてこそ、原因を突き止められます。

この記録がないと妙なことが起こります。問題は起きたのに誰も自分の段階で何があったかを示せず、互いに相手を指さすだけで何も直りません。残るのは争いだけで、同じことがまた起こります。

反対に記録が残っていれば話は変わります。どの段階でずれたかが見えるので、その場所を手直しすればよいのです。記録は誰かを罰するために残すのではなく、同じことを繰り返さないために残すものです。

名ばかりの確認

多くの場所で「結果は人が確認する」という手順を置いています。ですが一日に数百件が上がってきて、そのほとんどが問題なければ、確認はただの習慣になります。画面をめくってボタンを押すだけの状態になれば、その手順は名前だけが残ります。

ここで危ういのは結果が間違っているという事実よりも、責任が移ったように見えることです。確認欄に人の名前が入っているので書類の上では人が判断したことになりますが、実際には誰も判断していません。

確認を生かすには確認が実際にできる条件を作らなければなりません。一度に渡せる量を減らす、根拠を一緒に表示する、取り返しのつかないことにだけ確認をかける、といった方法です。すべてを確認させようとすると、結局何も確認しなくなります。

先に分けておけば揉め事が減ります

事が起きた後で責任を分けようとすると、いつも遅れます。うまく回っている場所は始める時に決めています。この道具をどんな仕事に使い、どんな仕事には使わないか、どんな結果は必ず人が見るか、問題が起きたら誰が止める権限を持つかを書いておくのです。

ここにもう一つ加わります。結果を受け取る人にAIが関わったことを知らせることです。相手がその事実を知らなければ、おかしいと感じても問い合わせる発想が浮かびません。知らせておけば、間違いを外から先に見つけてくれる目が一つ増えます。