外れ値Outlier

1何を基準に「飛び抜けている」と言うか

一つだけ離れているという判断には物差しが要ります。いちばんよくある方法は、値を大きさ順に並べて真ん中の半分が占める幅を測り、その幅の1.5倍ほどを上下にさらに広げて柵を作ることです。柵の外に出た値を外れ値の候補と見ます。

値が真ん中に集まっている形なら、平均からどれくらい離れているかで測ることもあります。どの方法でも「これくらいなら遠い」という線を人が決めます。線を少し動かすだけで候補の一覧が変わるので、基準を先に書いておいてから値を見る順序を守るのが良いです。

一つの値ではなく複数の項目を一緒に見て初めてわかる外れ値もあります。身長180センチもよくあり、体重40キロもよくありますが、二つの値が一人の記録に一緒に付いていると目に留まります。

2一つの値がどれくらい引きずるか

外れ値が怖い理由は個数ではなく力です。一か月分の貯金額の平均を出すとき、一日が5万円だと平均がずっと上に上がります。残りの二十九日をどれだけ丁寧に記録しても、この一日が結果を決めます。

学習でも同じです。よく使われる罰点の計算方法は外れた距離を二乗して付けるので、とても遠く離れた一点が、くっついた点数十、数百個を合わせたほどの大きな罰点を作ることがあります。そのためモデルはその一点を当てようとして残りを犠牲にする方向へ引っ張られます。

3消すか残すかを決める方法

まず確認するのは記録がどう作られたかです。手で入力した欄なら桁を打ち間違えた可能性が高く、機械が自動で残した値ならその時間帯に機器がどうだったかを確認します。原因がつかめれば、直すか消すかの判断がしやすくなります。

原因が見つからないときは、消す代わりに印だけ付けておくほうが安全です。消した値は元に戻せませんが、印を付けた値はあとでまた見返せます。値をすっかり無くさず、柵の値まで引き寄せておく方法も使われます。

4外れ値が目的のときもある

ここまでは外れ値を邪魔者として扱ってきましたが、逆の分野が多くあります。カード不正利用を見つけること、機械の故障を前もって知ること、通信網への侵入を見つけることは、どれも「一つだけ飛び抜けているもの」を探すのが目的です。このときは残りの値が背景で、飛び抜けた値が主役です。

同じ値でも何をしようとしているかで扱いが変わります。平均売上を出すとき、イベントの日の売上は邪魔な値ですが、どのイベントがうまくいったかを知りたいなら、その値が唯一の手がかりです。

このときは扱い方も逆転します。飛び抜けた値を消す代わりにそれだけを別に集めておき、どんな状況でそんな値が出るのかを調べます。普段の値は背景知識としてだけ使われ、判断の基準線をどこに引くかがすべてになります。