学習率Learning Rate

方向と幅は別の担当が決める

学習は二つのことが決まって一歩が完成します。どちらへ行くかと、どれだけ行くかです。前者は今いる場所の勾配を計算して出てきて、後者は人があらかじめ書いておいた数値から出てきます。この数値が学習率です。

そのため学習率は、データをいくら多く入れても自動では良くなりません。モデルが学習で自ら変える値ではなく、学習を始める前に人が選んで入れる値だからです。こうした値をハイパーパラメータと呼びますが、その中でも結果が一番大きく揺れるのが学習率です。

勾配には方向だけでなく急な度合いも一緒に含まれています。そのため同じ学習率でも、急な場所では大きく、なだらかな場所では小さく動きます。学習率は、その上にもう一度掛かる倍率に近いものです。つまり実際の一歩の大きさは、学習率と足元の急さの掛け合わせで決まります。

大きすぎると底を通り過ぎる

幅が大きすぎると、低い場所を踏めずに飛び越えてしまいます。左の斜面で大きく一歩踏み出したら右の斜面の中腹に立っていた、という具合です。そこからまた下り方向へ大きく動くと、今度は左の斜面へ渡ってしまいます。

この往復が一歩ごとに少しずつ大きくなると、誤差はむしろ上がっていきます。学習画面で誤差の数字が下がっていたのに急に跳ね上がったり、そもそも数値にならない値へ飛んでしまったりするのは、学習率が大きいことが一番よくある原因です。

学習が始まってすぐ崩れたなら、他の設定をいじる前にまず学習率を半分に下げてみるのが順番です。幅を減らすだけで持ち直すことが多いからです。

小さすぎると一日が足りない

幅が小さすぎると、一歩ごとに誤差がほんの少しずつしか減りません。方向は常に合っているので安全に見えますが、使える場所までたどり着くのにかかる時間が何倍にも延びます。学習にかかる時間と費用がその分大きくなります。

もっと困るのは、途中で出会う浅い場所を越えられないことです。少し強く押せば越えられそうな段差でも、幅が小さいためその場で上下するだけで学習が終わってしまいます。誤差がある値でぴたりと止まりそれ以上下がらないなら、幅を広げてみる時です。時間をかければいつか届くはずだと決めておいた周回数まで待ち続けても、幅が小さすぎればその段差はいつまでも越えられません。

最初は大きく、後は細かく

そのため学習率を一つに固定せず、学習の進行に合わせて変えていく方法がよく使われます。最初は大きめに押して広い範囲を素早くさらい、低い場所に近づいたら幅を狭めて慎重に仕上げます。

始めるときはごく小さい幅で慣らし、徐々に上げてまた下げていく方式もよく使われます。大きなモデルでは、最初の数歩が大きく跳ねるとその後がまるごと崩れてしまうためです。動き方のコツをまるごと整えるオプティマイザと一緒に使うと、方向ごとに幅が自動で調整されることもあります。どの方式を選ぶにせよ、幅の変え方そのものも学習を始める前に決めておく必要があります。