オプティマイザOptimizer

方向だけ分かっても損が大きい

勾配は今いる場所でどちらが下り坂かを教えてくれます。ところがその方向へ素直に動くだけだと無駄が生まれます。特に一方は急で反対側はゆるやかな、狭くて長い谷でそうなります。

こういう場所では、急な方へ大きく跳ねて戻ってくることを繰り返しながら、肝心のゆるやかな方へはほんの少しずつしか進みません。谷に沿ってまっすぐ下りるべきなのに、壁にぶつかりながらジグザグにしか動けないわけです。一歩の数は大量に使うのに、実際に下りた深さはわずかです。

オプティマイザは勾配をそのまま使わず、一度手を加えて使います。前の一歩を覚えておき、今の勾配と混ぜて実際の移動量を作ります。勾配そのものを変えるのではなく、勾配をどう使うかという手順を挟み込むイメージです。

慣性を付けると揺れが減る

一つ目のコツは、前の一歩の移動量を一定の割合で受け継ぐことです。同じ方向へ進み続けていれば受け継いだ分が積み重なって一歩がだんだん大きくなり、方向が毎回反転していた方は互いに打ち消し合って収まっていきます。

谷に当てはめると、壁にぶつかって左右に揺れていた動きは減り、谷に沿って下りる動きだけが残って速度が付きます。浅い場所に出くわしても、乗せてきた速度で乗り越えることが起き、中途半端な場所に居座る危険も減ります。

受け継ぐ割合は、たいてい前の分け前をほとんど残す程度に取ります。大きく取りすぎると方向が変わったあともしばらく古い方向へ引きずられ、小さく取りすぎると慣性を付けないのとほとんど変わらなくなります。

方向ごとに歩幅を変えて取る

二つ目のコツは、値ごとに一歩の幅を別々に管理することです。その値がこれまでどれだけ大きく揺れてきたかを記録しておき、大きく揺れた値は幅を狭め、ほとんど動いていない値は幅を広げます。

このコツは、めったに出てこない特徴を扱うときに特に役立ちます。たまに一度だけ現れる特徴に付いた値は更新の機会が少なく、そのとき幅を広げてやれば、数少ない機会をしっかり使えます。広く使われるオプティマイザであるAdamは、この二つのコツを両方使います。値ごとの記録を持つ分、慣性だけを使う方式よりも一歩ごとの計算は増えますが、それでも安定して下りられる利点の方が大きいとされています。

それでも基準の幅は人が決める

オプティマイザが自動で幅を調整してくれるからといって、学習率が要らなくなるわけではありません。方向ごとに調整する値はあくまで倍率で、その倍率が掛かる基準線は依然として人が書き込みます。基準線が大きければ、コツが良くても振れてしまいます。

そのため実務では、広く使われるオプティマイザを基本に置き、学習率だけをいくつか変えながら合わせる手順がよく使われます。オプティマイザを変えるより学習率を直すほうが、結果を大きく揺さぶることがよくあるからです。オプティマイザのコツはあくまで走り方を整えるものであって、どこまで走るかという基準線までは決めてくれません。