ミニバッチMini-Batch

一個ずつでも、百個いっぺんでもない

データを一件見るたびに値を直すと、一歩は頻繁に踏めますが方向が毎回大きく揺れます。風変わりなデータ一件が方向をまるごと決めてしまうからです。計算の効率も悪くなります。一件ずつ処理すると、複数の計算をまとめて片付ける装置の力をほとんど使えません。

反対にデータ全部を見てから一回だけ直すと、方向はとても正確になります。ただしデータが数百万件あれば一歩を踏むのに長い時間がかかり、そのデータを全部メモリに載せることもできません。

まとまりに分けると、両方の良さを得られます。まとまりの中で平均を取るので方向が大きく揺れず、まとまりが終わるたびに一歩を踏むので進みが速くなります。今日ほぼすべての学習がこの方式で動いています。

まとまりの大きさは何で決めるか

一つ目の基準はメモリです。まとまりの中のデータをいっぺんに計算するには、データも途中の結果もすべて載せておく必要があります。まとまりを二倍に増やせば、必要なメモリもおよそ二倍になります。学習の途中でメモリが足りないというエラーに出会ったとき、まず減らすのがまとまりの大きさです。

二つ目の基準は揺れです。まとまりが小さいと方向が毎回少しずつ変わりますが、この揺れは必ずしも悪いものではありません。中途半端な場所を抜け出す助けになり、新しいデータへの成績がかえって良くなることもあります。まとまりがとても大きいと一歩が滑らかになる代わり、一回の一歩がもったいなくなります。

学習率と一緒に動く

まとまりを大きくすると、一歩の方向がそれだけ信頼できるものになります。だから一歩の幅も少し大きくしてやるのが普通です。まとまりを大きくしたのに学習率をそのままにすると、一周で踏む歩数が減った分だけ学習が遅くなります。

大きなモデルを複数の装置で分けて学習するときは、装置ごとにまとまりを一つずつ受け持って計算し、結果を合わせます。このとき実際のまとまりの大きさは装置の数だけ大きくなるため、学習率と最初の慣らし区間を一緒に手当てしないと、序盤で学習が崩れやすくなります。

残ったデータと混ぜ方

データ件数がまとまりの大きさでちょうど割り切れないと、最後のまとまりだけ小さくなります。この端数をそのまま使うこともあれば、計算の大きさをそろえるために捨てることもあります。一周が終わるとデータをまた混ぜてまとまりを組み直すので、今回の周で外れたデータは次の周には入ります。

まとまりを組むときに一種類だけに偏らないようにすることも大切です。ひとまとまりが全部同じ種類で埋まると、その一歩は一方向にだけ偏ります。データをよく混ぜておくだけで、たいてい解決します。

長さがまちまちな文や大きさの違う写真をまとめるときは、ひとまとまりの中の大きさをそろえる手当てが別に要ります。短い文の後ろを空欄で埋めたり、写真を同じ大きさに切り抜いたりする具合です。この手当てが終わってはじめて、まとまり一つをいっぺんに計算できます。