学習不足Underfitting

練習した物からして当てられません

学習不足の特徴は、練習に使ったデータでさえ成績が悪いことです。見本を目の前に置いて見ながら作っているのに、似ないという状況です。手を動かす回数を増やしても、この時点ではまだ差が出ません。

これが重要な理由は、原因を絞ってくれるからです。練習データですでに当てられないなら、データをもっと集めても新しいデータを入れても意味がありません。問題はデータ側ではなく、作る側にあります。

反対側にある過学習は、練習データではほぼ全部当てるのに、初めて見るデータの前でだけ崩れます。二つの状態は見た目の症状がまったく違うので、どちらかさえ分かれば手を入れる場所も決まります。

なぜ起きるのか

一つ目は、作り出せる形の幅が狭いときです。手のひら一つで作るのと、指を分けて使うのとの違いです。層が浅かったり内側の場所が少なすぎたりすると、データに含まれる凹凸を受け止める方法がありません。

二つ目は、十分長く回していないときです。ろくろを何回か回しただけでやめたのと同じです。この場合は時間が解決してくれるので、原因の中ではいちばん対処しやすいです。

三つ目は、与えた材料が乏しいときです。器の直径と高さは教えたのに高台の有無は教えなかったら、どれだけ精巧な手を持っていても、高台のある器とない器を分けて作ることはできません。判断に必要な項目がそもそも抜けていると、モデルを大きくしても良くなりません。

もう一つ、ぶれを防ごうと締めた装置を強くかけすぎても学習不足になります。手が震えないようにと腕をきつく縛ったようなもので、必要な動きまで止めてしまいます。

手を増やすと変わります

指を分けて使い始めると、結果が急に変わります。片方の指で内側の壁を押し、もう片方で外側を支えると高台ができ、上のほうを狭めると首ができます。見本ごとに違う器が出てくるようになります。

モデルも同じです。層を足し、内側の場所を増やすと、受け止められる凹凸が増えます。訓練誤差が下がり始めるのがその合図です。

ただし、ここで止まらずに押し続けると反対側へ越えてしまいます。見本の表面についた指紋や土のかけらまでそのまま写し取る状態が過学習です。ちょうどよい地点は、二つの極端のあいだのどこかにあります。

どう見分けるか

学習が進むあいだ、訓練の点数と検証の点数を並べて描いてみるとすぐ分かります。二本の線がそろって高い位置に止まり、それ以上下がらなければ学習不足です。訓練の線だけ下がり続け、検証の線が向きを変えて上がれば過学習です。二本の線がどちらへ動くかさえ見れば、原因を探す手間がぐっと減ります。

始める段階では、あえて学習不足から出発するのがこつです。小さなモデルでまず動かし、訓練の点数がどこまで下がるか確かめたあと、少しずつ大きくしながら検証の点数が分かれ始める地点を探します。最初から大きなモデルで始めると、何が原因でうまくいかないのか見極めにくくなります。