層正規化Layer Normalization

目盛りがずれると学習が止まります

層が深くなるほど問題は大きくなります。ある層で数字が1.5倍に膨らむ癖がつくと、層を二十回通る間にその癖が掛け合わさり、最初の何千倍にもなります。逆に毎層少しずつ縮むなら、最後の層に着く頃にはほとんど0です。

学習は最後から最初の方向へ誤差を送り返すことで進みますが、送り返される値も同じ掛け算をたどります。だから手前の層は何の信号も受け取れないか、抱えきれない大きさの信号を受け取ります。手前の層が学べなければ、深く積んだ意味がなくなります。

層正規化は、この掛け算が積み重ならないよう毎層で目盛りを元の位置に戻します。おかげで層を何十も重ねても、最初の層と最後の層が似た大きさの数字を扱えます。

基準は一つの場所の中だけです

ここでいう一つの場所とは、文の中の一片が持つ数字の束のことです。言語モデルは一片ごとに数千個の数字を持ち歩きます。層正規化はその数千個の中だけで平均と幅を求めます。

隣を見ないという点が重要です。一度に何文をまとめて計算しても、文が長くても短くても、それぞれの場所は自分の数字だけを見て目盛りを合わせます。だから文一つだけを入れて答えを作るときも、学習のときとまったく同じように動きます。

長さがまちまちな文章を扱うモデルでは、この性質が特に有利です。複数の例をまたいで平均を取る方式は、短い文と長い文が混ざると基準が揺らいでしまうからです。一片ずつ完結して計算できるおかげで、文の長さや一度に処理する文の数が変わっても同じ計算がそのまま使えます。

戻すためのつまみが二つ

目盛りを強制的に合わせると、モデルがせっかく作った大きさの違いが消えてしまうことがあります。そこで正規化のあとにはつまみが二つ付きます。一つは幅をまた広げたり狭めたりし、もう一つは全体を上下にずらします。

このつまみは人が決めるのではなく学習で決まります。特定の場所の違いを大きく残すほうが有利なら、モデルはその場所のつまみを大きくします。正規化は情報を捨てているのではなく、出発点だけをそろえておき、どれだけ広げるかはモデルに任せているわけです。

層の前に置くか後に置くか

初期の構造は層の計算が終わったあとに正規化を付けていました。この配置は層がとても深くなると学習の序盤が大きく揺れるので、学習率をごく小さく始めてゆっくり上げる準備運動が必要でした。

最近よく使われる配置は逆です。層に入る前に先に目盛りを合わせ、層が作った結果は近道を通ってきた手つかずの値に足します。こうすると最初から最後までつながる通路がきれいに残り、非常に深いモデルでも安定して学習できます。

同じ仕組みでもどこに置くかで学習がうまくいくかどうかが分かれるわけです。目盛りを合わせる計算そのものより、どの場所に差し込むかのほうが大きな違いを生んだという点が、深いモデルを扱う中で得られた教訓の一つです。ほんの少しの配置の違いが、モデルを学習できるかできないかを分けてしまうこともあります。