局所最小値Local Minimum

下り方向へしか動かない規則

学習は今いる場所からどの方向が下り坂かを測り、その方へ少し動くことを繰り返します。この方法の良いところは、地形全体を知らなくてもよいことです。足元の傾きさえ測れば済むので、値がどれだけ多くても扱えます。

その代わり、足元しか見ない代償を払います。今いる場所ですべての方向が上り坂なら、動きが止まります。その先にずっと深い谷があるかどうかは、足元の傾きには含まれていません。庭の水がへこんだ場所を越えて排水溝までたどり着けない理由と同じです。地形全体を見渡す方法があればこの問題は起きませんが、値がとても多いモデルでは、そもそも地形全体を描くこと自体ができません。

水たまりの中では分からない

閉じ込められた事実に気づきにくいことが、この問題の厄介なところです。損失がこれ以上下がらず落ち着いた様子は、学習がうまく終わった様子と見分けが付きません。画面に出る数字だけでは、「もう着いた」と「ここに閉じ込められた」が同じに見えます。

そこで実務では絶対点数を見ます。損失が止まっていても、その値が期待よりずっと高ければ水たまりを疑います。同じ設定で何度も回してみたとき、ある回ははるかに良い点数で終わるなら、もっと確かな合図です。低い場所を一つだけ見ても判断できず、いくつかの場所を見比べてはじめて分かります。一回だけ回して満足せず、条件を変えて何度も試す習慣がここで役立ちます。

水たまりを越える方法

一つ目は開始位置を変える方法です。最初の値を無作為に何セットも作ってそれぞれ回し、一番良い結果を選びます。庭のあちこちに水を注いでみるようなものです。

二つ目は慣性を付ける方法です。これまで下りてきた方向の勢いをある程度受け継がせると、浅くへこんだ場所は勢いに負けてそのまま通り過ぎます。転がり落ちてきた球が小さな溝を乗り越えるのと同じです。

三つ目はわざと揺さぶる方法です。データを一度に全部使わず少しずつ分けて使うと、毎回勾配がわずかに変わります。この揺れが浅い場所から押し出す役目を果たします。一歩の大きさを最初は大きく取り、後になるほど小さくしていく方式も同じ効果をねらったものです。

大きなモデルでは話が少し違う

値が二つか三つしかないなら、庭の絵がそのまま当てはまります。ところが実際のモデルは、調節できる値が数百万個あります。こういう場所である地点が本当の水たまりになるには、数百万方向のすべてが漏れなく上り坂である必要があります。そんな場所は思ったよりまれです。

ずっとよく出会うのは、ある方向は上り坂で別の方向は下り坂という中途半端な場所です。こういう場所では勾配がほとんど0でしばらく進みが止まりますが、結局は下り方向を見つけて抜け出します。だから大きなモデルで学習が止まったように見えるときは、たいてい永遠に閉じ込められたのではなく、一時的に遅くなっただけです。焦って手を止める前に、しばらくそのまま回し続けてみる価値があるのはこのためです。