ドロップアウトDropout

一部の場所だけに頼るモデルの問題

モデルの中には値をやり取りする場所がたくさんあります。学習が長く続くと、そのうちの数か所が特定の組み合わせで手を組み、答えをほぼ一手に引き受けてしまうことがあります。残りの場所はその組み合わせを補う程度にしか育ちません。

こうしたモデルは学習に使った資料ではよく当たります。けれども初めて見る資料でその組み合わせがうまく働かないと、頼れる場所がなく大きく外します。一部に偏った構造は、資料が少し変わるだけで崩れてしまいます。

ドロップアウトはこの偏りを学習中に崩します。毎回違う場所が消えるので、特定の組み合わせが固まる隙がありません。どの場所も一人で使える信号を作っておく方向に学習が進みます。

一歩ごとに新しく選びます

休ませる場所はあらかじめ決めておきません。資料のかたまりを一つ処理するたびに、その場でくじを引くように新しく選びます。休むと決まった場所はその一歩の間だけ値を0にし、逆にたどって配分を計算するときも外れます。

そのため一歩ごとに少しずつ違うモデルを学習させているのと同じことになります。場所が数千あれば、できあがる組み合わせは事実上無限です。学習を終えたモデルは、こうして少しずつ違う無数のモデルをまとめ上げた結果に近づきます。複数のモデルの答えを平均すると安定するという昔からのやり方を、一つのモデルの中で真似ているわけです。

どれくらい休ませるか

休ませる割合は人が決めます。半分近く休ませる設定が広く使われますが、場所の数が少ないところではもっと低く設定します。割合が高すぎると残った場所が支えきれず学習がうまく進まず、低すぎると偏りを崩せず、かけた意味がなくなります。

層ごとに違う割合をかけることもあります。場所が密集した層には強めに、値が流れ込む最初の部分には弱めにかける具合です。資料がとても多い学習では、まったくかけないこともあります。覚えてしまうほど同じ資料を繰り返し見ないためです。逆に場所の数が少ないモデルで割合を高くかけすぎると、支える人手が足りない現場のようになり、学習そのものが立ち行かなくなります。

ドロップアウトをかけると学習が少し遅くなる点も覚えておくとよいでしょう。毎回一部が欠けたまま学ぶので、同じ成績にたどり着くまでに車輪をもっと回す必要があります。学習資料での成績だけを見るとかけない方が常によく見えますが、別に取り分けた資料で測ると順位が入れ替わります。

使うときは全部つなげます

学習が終わり実際に答えを受け取って使うときは、何も休ませません。同じ問いに毎回違う答えが出ては困るからです。ところが、そのまま全部つなげると問題が起きます。学習中は常に一部が欠けた状態で値が流れていたのに、いま全部つながると値がその分大きくなってしまうのです。

そこで強さを合わせる調整が一緒に入ります。学習中に生き残った場所の値をあらかじめ大きくしておくやり方が一般的です。こうしておけば、実際に使うときに何も補正をしなくても、値の大きさが学習時と釣り合います。