学習不足Underfitting

1練習した物からして当てられません

学習不足の特徴は、練習に使ったデータでさえ成績が悪いことです。見本を目の前に置いて見ながら作っているのに、似ないという状況です。

これが重要な理由は、原因を絞ってくれるからです。練習データですでに当てられないなら、同じ種類のデータをもっと集めても意味がありません。モデルの幅、学習時間、与えた項目のほうを先に見る必要があります。

反対側にある過学習は、練習データではほぼ全部当てるのに、初めて見るデータの前でだけ崩れます。二つの状態は見た目の症状がまったく違うので、どちらかさえ分かれば手を入れる場所も決まります。

2なぜ起きるのか

一つ目は、作り出せる形の幅が狭いときです。手のひら一つで作るのと、指を分けて使うのとの違いです。層が浅かったり内側の場所が少なすぎたりすると、データに含まれる凹凸を受け止める方法がありません。

二つ目は、十分長く回していないときです。ろくろを何回か回しただけでやめたのと同じです。この場合は時間が解決してくれるので、原因の中ではいちばん対処しやすいです。

三つ目は、与えた材料が乏しいときです。器の直径と高さは教えたのに高台の有無は教えなかったら、どれだけ精巧な手を持っていても、高台のある器とない器を分けて作ることはできません。判断に必要な項目がそもそも抜けていると、モデルを大きくしても良くなりません。

もう一つ、ぶれを防ごうと締めた装置を強くかけすぎても学習不足になります。手が震えないようにと腕をきつく縛ったようなもので、必要な動きまで止めてしまいます。

3手を増やすと変わります

指を分けて使い始めると、結果が急に変わります。片方の指で内側の壁を押し、もう片方で外側を支えると高台ができ、上のほうを狭めると首ができます。見本ごとに違う器が出てくるようになります。

モデルも同じです。層を足し、内側の場所を増やすと、受け止められる凹凸が増えます。訓練誤差が下がり始めるのがその合図です。

ただし、ここで止まらずに押し続けると反対側へ越えやすくなります。見本の表面についた指紋や土のかけらまでそのまま写し取る状態が過学習です。ちょうどよい地点は、二つの極端のあいだのどこかにあります。

4どう見分けるか

学習が進むあいだ、訓練誤差と検証誤差を並べて描いてみるとすぐ分かります。二本の線がそろって高い位置に止まり、それ以上下がらなければ学習不足です。訓練の線だけ下がり続け、検証の線が向きを変えて上がれば過学習です。

始める段階では、あえて学習不足から出発するのがこつです。小さなモデルでまず動かし、訓練誤差がどこまで下がるか確かめたあと、少しずつ大きくしながら検証誤差が分かれ始める地点を探します。最初から大きなモデルで始めると、何が原因でうまくいかないのか見極めにくくなります。