検証データValidation Set

学ぶデータと点検するデータを最初から分けます

持っているデータをまるごと学習に入れて、そのデータで点数をつけると、点数は常に良く出ます。うまくいくよう合わせたものを、また採点しているだけだからです。そこでデータを集めたら、学習を始める前にひとかたまりを取り分けて別にしまっておきます。割合はだいたい10のうち1ほどで、データがとても多ければそれより少なく取り分けることもあります。

取り分けたデータは、モデルの値を直すのには一度も使いません。ただ採点にだけ使います。そうしてこそ点数が、初めて見るものを前にしたときの実力を示します。検証用のデータを学習に一度でも流し込むと、その瞬間から点数は実力ではなく記憶を測るものになってしまいます。

検証の点数が代わりに下す決定

学習は1周するたびに少しずつ良くなっていきます。1周終えるたびに検証データで採点して点数を記録しておくと、その点数の流れがさまざまな決定を代わりに下してくれます。もっともよくある決定は止めどきです。検証の点数が何周も足踏みしたり、逆に悪くなり始めたら、その場で学習を打ち切ります。

層をいくつ積むか、学習率をいくつにするか、ドロップアウトをどれくらいかけるかといった値も検証の点数で選びます。こうした値はモデルが自分で学ぶ値ではなく人があらかじめ決めておく値なので、候補をいくつも作って動かしてみて、検証の点数が一番良いものを残すという方法で選ぶことになります。

検証データにも合わせ込まれてしまうことがあります

引き出しから同じ写真を100回取り出して値を直していると、その数枚だけにぴったり合う値になってしまうこともあります。検証データも同じです。同じデータで点数をつけながら設定を何十回、何百回と直していると、モデルではなく作る人のほうがそのデータに合わせ込まれていきます。検証の点数は上がり続けるのに、いざ新しいデータではそれほど出ないという事態が起こります。

そこでデータを三つに分けるやり方が定着しました。学ぶ分、学習中に点検する分、そしてすべての決定が終わったあとにただ一度だけ取り出す分です。最後の分で測った点数だけが、誰も合わせ込んでいない点数です。

取り分け方が点数を変えます

前から順番に切り出すのは危険です。データが日付順や種類順に並んでいると、検証用の分に特定の時期や特定の種類だけが集中することがあります。そこで普通はよく混ぜてから無作為に取り分け、種類ごとの比率まで元と同じになるよう取り分けることもあります。

同じ内容が両方に重なって入ってしまうこともよく起こります。同じ文書を二つの場所から受け取っていたり、写真1枚を少しずつ変えて何枚にも増やしていたりすると、学習に使ったものとほぼ同じものが検証用に紛れ込みます。そうなると点数は実際よりずっと高く出てしまいます。時間の経過があるデータなら、検証用の分を後ろの期間から取り分けるほうが実際の状況に近づきます。

データが少ないとき

持っているデータが数百件しかなければ、10のうち1を取り分けるだけでもったいなく、その少ない分で出した点数はどのデータに当たったかで大きく揺れます。こうしたときは一つの分を固定する代わりに、データを複数に分けて順番に検証し、点数を平均します。交差検証と呼ばれる方法です。データを無駄にせずに点数の揺れを減らせます。