正解データGround Truth

基準があって初めて合っている・間違っているが生まれます

AIを学習させるときも性能を測るときも、データの一つひとつのそばに実際には何だったのかが書かれている必要があります。この答えがあって、学習中はどれだけずれているかを計算して方向を決め、学習が終わったあとは何問合っていたかを数えられます。

正解率も適合率も再現率も、すべてこの基準の上に成り立っています。基準がなければ計算する対象そのものがありません。評価の話をするとき指標より先に正解データを気にかける理由です。

基準はどこから来るのでしょうか

一番よくある方法は、人がデータを一つずつ見て答えを付けることです。この作業がラベリングで、正解データはその作業の成果物です。

すでに答えが記録されている場合もあります。ここ数年の設備故障の記録や、計測器が残した測定値のようにです。こうしたデータは人の手をあまり借りずに済むので都合が良いですが、記録が抜けた日や誤って書かれた行がそのまま基準になってしまう危険があります。

人が付けるには多すぎるデータ量になると、別の方法を組み合わせます。規則で自動的に付けたあと一部だけ人が検収したり、すでに学習済みのモデルに下書きを付けさせて人が直したりする方法です。手間は減りますが基準の質はその分下がります。

基準がずれると静かに食い違います

正解データにも誤りは混じります。データが曖昧だった、作業者が疲れていた、指針があいまいだったなどが理由です。大きなデータの束の中で数パーセントの答えが誤っていることは珍しくありません。

この誤りは二重に働きます。学習するときは間違った答えをそのまま覚えさせ、採点するときは正しく答えたものを間違いだと表示します。モデルをどれだけ手直ししても点数が上がらない場面で、原因がここにあることは意外と多いです。

だから点数が妙に低い項目があれば、モデルを疑う前にその項目の正解を数十件読み直します。音叉をもう一度鳴らしてみる作業にあたります。

答えが一つでないことも多いです

写真に猫がいるかいないかは答えが一つです。ですが、この文が肯定的か否定的か、この文章の要約としてどちらが優れているかは人によって分かれます。

こうしたデータでは一人の判断を正解にしません。複数の人に同じデータを渡し、意見が集まったほうを基準にしたり、割れた度合いまでいっしょに記録したりします。人どうしでも八回中六回しか一致しないデータなら、AIにそれ以上を期待すること自体が無理な話でもあります。

文章を新しく作り出す仕事では、正解を一行で書くこと自体ができません。そこで基準となる答えを複数用意したり、人が直接見比べて選んだりする方法で基準の代わりにします。

採点用の基準は別に鍵をかけておきます

学習に使うデータと採点に使うデータは最初から分けておきます。学習に使ったデータで採点すると、答えを覚えた結果がそのまま点数になってしまうからです。

分けておくだけでは足りません。同じ内容が形だけ変わって両方に入り込むことがよくあるからです。ある写真の切り抜き版が学習に、元の写真が採点に入るような具合です。こうして紛れ込んだデータは点数を静かに水増しします。