データ品質Data Quality

検査の切り口は五つに分かれる

一つ目は値が正しいかを見る切り口です。身長を書く欄に体重が入っていたり、日付の月と日が逆に書かれていたりする資料が、ここで引っかかります。人が手で書き写した資料であるほど、こういう傷が多く混ざります。

二つ目は抜けがないかを見る切り口です。空欄がぽつぽつある程度なら埋めるかその行だけ除いて使えますが、一つの欄が丸ごと空いていれば、その欄を使うこと自体をあきらめなければなりません。

三つ目はどれくらい古い資料かを見る切り口です。何年も前にくんだ水で今日のプールを判断できないように、世の中が変わっているのに資料だけ昔のままなら、モデルは昔の世界をずっと説明し続けます。

四つ目と五つ目は、つじつまが合っているか、重なっていないかを見る切り口です。同じことを二か所で違うように書いていないか、同じ記録が何通りも混ざって入ってきていないかを見ます。同じ記録が三回入っていると、その記録の声だけ三倍大きくなってしまいます。

傷はそのまま下流へ流れていく

にごった水をそのまま入れておくと、あとで良いろ過網を付けても、すでに入った土は取れません。資料も同じです。間違って貼られた正解データで学習したモデルは、その間違いを規則として覚え、それ以降は覚えた規則どおりに答えます。

もっと困るのは、傷が目立ちにくいことです。全体の資料のうちごく一部だけが間違っていると、表に出る点数は問題なく見えます。それなのに、その一部と似た状況が実際に入ってきたときだけ見当違いの答えを出します。使う側からすると、理由の分からない失敗のように見えます。

だから学習を回す前に資料を覗き込む時間は惜しくありません。学習を終えたあとに傷を見つけると、資料を直して最初からやり直さなければならず、ずっと高くつきます。

良い資料の基準は使い道が決める

プールに満たす水と飲む水では基準が違います。資料も同じです。近所の店の一日の売上をざっくりつかむには、いくつか抜けている帳簿でも十分ですが、在庫を自動で発注するのに使うなら、一件も抜けてはいけません。

品質を測る前に、この資料で何をするかをまず決めなければならない理由がここにあります。使い道が決まれば、どの切り口をどれくらい厳しく見るかが自然に決まります。すべての切り口を同じように厳しく見ようとすると手間が際限なくかかり、肝心な切り口を見落としてしまいます。

同じ資料を二か所で使うとき、片方では使えて片方では使えない資料になることもよくあります。

検査は回り続けなければならない

水は一日過ぎただけでも状態が変わります。資料も同じです。新しく入ってくる資料の形式がある日こっそり変わったり、値を入力する側が単位を変えたりすると、その日から入った資料が丸ごとずれてしまいます。

だから資料が入り続ける場所では、検査も回し続けます。空欄がどれくらいあるか、値がいつもの範囲に収まっているか、一日に入った件数がいつもと似ているかを毎日測っておき、いつもと違えば知らせが鳴るようにします。人が目で確かめるのは最初の一回だけで、そのあとは機械が代わりにくんでくれます。

しばらくうまく動いていたサービスがある日から変な答えを出すようになったら、モデルを調べる前に資料が入ってくる経路から見るのが順序です。