クラス不均衡Class Imbalance

なぜ点数が高く出るのか

正解した割合は全体を分母に置いて数えます。ねじが九十八でボルトが二なら、分母のほとんど全部がねじです。ねじだけ全部当てても点数はとても高くなり、ボルトを見逃した損はほとんど目立ちません。

現実で扱う問題であるほど、この偏りは激しくなります。カードの不正利用は取引一万件のうち数件で、機械の故障は稼働時間のごく短い一瞬で、まれな出来事は検査を受けた人のほとんどが受け取らない結果です。見つけたいほうがまれであること自体が問題の本質である場合が多いのです。

この偏りは自然に消えてくれるものでもありません。資料を集めれば集めるほど多いほうも一緒に増えるので、何もしなければ偏りは縮まらずむしろ固定されていきます。

学習も怠けたほうへ傾く

怠けるのは人だけではありません。学習は罰をいちばん早く減らす方向へ動きますが、少ないほうを全部あきらめることがその近道であることが多いのです。ボルト一つを拾い出そうとしてねじをいくつもボルトと間違えると、罰がかえって増えてしまうからです。

だから不均衡な資料で学習したモデルは、見た目にはうまく学んだようでも、少ないほうの前で固まってしまいます。何を入れても多いほうの名前ばかり呼ぶ状態になり、こういうモデルは学んだのではなく片方に固まっただけです。

正解した割合の代わりに何を見るか

見つけたいほうだけを取り分けて二つを見ます。一つはボルトだと拾い出したもののうち本当にボルトだった割合で、もう一つは箱の中にあったボルトのうち何個を見つけ出したかです。前者が適合率、後者が再現率です。

「全部ねじ」と答えた怠けたやり方は、この二つの値が両方とも底です。拾い出したものがないので前の値がなく、見つけ出したものがないので後の値がゼロです。正解した割合一つでは見えなかった失敗が、すぐに明らかになります。

二つの値は互いに押し合います。少しでも太く見えれば全部ボルトだと拾い出せば見つける割合は上がりますが、無事なねじをたくさんはじき出してしまいます。だから二つをあわせて一つの点数にまとめたり、どちらの間違いのほうが痛いかを決めて重みをつけたりします。

偏りを減らす方法

資料側で手を打てます。少ないほうの資料をもっと集めるのがいちばん良く、それが難しければ、持っている少ないほうの資料を少しずつ変形させて増やします。逆に多いほうから一部だけ選んで使って数をそろえることもありますが、この方法はねじが持つ情報を捨てることになるので、資料が十分にあるときだけ使います。

学習側でも手を打てます。少ないほうを間違えたときの罰を何倍にも重くすれば、学習は少ないほうをあきらめる近道をもう使えなくなります。最後に「これくらいならボルトとみなす」という境目を低く取る方法もあります。この方法は学習をやり直さず結果だけを調整するので、いちばん手がかかりません。