AIバイアスAI Bias

傾きはデータを集める瞬間から入り込みます

データを集めるとき、誰の記録がどれだけ含まれるかはすでに決まっています。よく発言を残す側の言い回しや関心事は厚く積み重なり、記録をあまり残さない側は薄く残ります。世の中にあるものをそのまま写し取ったとしても、世の中自体が傾いていればデータもその分だけ傾きます。

集め方自体が新しい傾きを作ることもあります。特定の時間帯に、特定の経路だけで集めたデータは、その経路を通った人たちの特徴だけを含みます。最初に急いでいた数人が残した跡がその公園の道になるのと同じです。

だからデータをただ大量に増やすだけでは傾きは直りません。傾いたデータを十倍に増やせば、傾いたデータが十倍になるだけです。何が欠けているかを見て、欠けている側を別途補ってこそ傾きが減ります。

正解を付けた人の目も一緒に学びます

学習に使うデータの多くは人が一つずつ正解を付けて作ります。何を適切な表現と見るか、どこまでを危険な要求と見るかは、付ける人の基準にかかっています。その基準がある集団の感覚だけを反映すれば、その感覚がそのまま正解表になり、モデルは正解表を疑わずに学びます。

指針をどれだけ細かく書いても、あいまいな境界は残ります。同じ資料を複数の人に分けて、どれだけ同じ答えを付けるかを測る手順を置く理由です。答えが大きく分かれる項目は、モデルに渡す前に基準から見直すべきだという合図です。

何を良い結果と見るか決める場所にも傾きは入り込みます。成功の物差しを過去の記録とどれだけ似ているかで決めれば、モデルは過去の色合いを再現するほど良い点を受け取ります。物差し自体が足跡に沿って引かれているわけです。

全体スコア一つでは見えません

全体の正解率が高いと、うまく作られたように見えます。ところがそのスコアは、たいていデータが厚い側から生まれます。データが薄い側でよく間違えても、その割合が小さければ全体スコアはほとんど揺れません。平均一つではどこが傾いているか分かりません。

だから点検するときはスコアを分けて見ます。年代別に、地域別に、言い回しや表記の仕方別に分けて測ると、平均に隠れていた差が浮かび上がります。分けて測る軸を決めなければ、傾きは見えないまま残ります。

踏むほど固まるフィードバック

AIの判断が世の中に影響を与え、その結果が次の学習データになると、最初の小さな傾きが時間とともに急になります。あまり勧められない側は人の目に触れにくくなり、触れにくいと記録も積み重なりにくく、記録が薄くなると次のモデルはその側をさらに知らなくなります。

跡がしっかり固まるほど、新しく芝生を踏んで別の筋を作る人が減るのと同じです。フィードバックが回る場所では傾きを早く測ることが特に大事です。固まってからでは元に戻すのにずっと大きな力が要ります。

減らせても、なくすことはできません

欠けている側のデータを別途補い、正解表を複数の人で突き合わせて確認し、学習が終わった後に集団ごとの成績を分けて測り、結果が大きく分かれる場所には人がもう一度目を通す手順を置く、といった方法で傾きを減らします。

それでも完全に平らなデータはありません。人が残した記録には人が生きてきた形が一緒に含まれていて、その部分を取り除けば学ぶ資料も一緒に消えます。バイアスを扱うことは傾きをゼロにすることではなく、どこがどれだけ傾いているかを測り、その事実を明らかにしておくことに近いです。

どこまでの傾きを受け入れるか、どんな傾きは必ず直すべきかは、測るだけでは決まりません。その判断は公平性が扱う分です。