LSTM

ノートとささやき、二つの筋が流れます

普通の回帰型ニューラルネットワークは、一回ごとに要約を一つだけ渡します。LSTMはここに筋をもう一本加えます。一つは隣の人にすぐ渡すささやきで、もう一つは列に沿って長く流れるノートです。

ささやきは今すぐ必要な内容です。次の一言を予想したり答えを出したりするときにそのまま使われます。ノートはあとで必要になるかもしれない内容を保存しておきます。今使わなくても持ち続けます。

二つの筋が通る道も違います。ささやきは一回ごとに新しく計算されてすっかり作り直されますが、ノートは消したり書いたりする手入れだけを受けます。この違いがLSTMの核心です。

消すゲート:要らなくなったものを取り除きます

最初のゲートはノートを見渡して消す場所を決めます。新しい一言を聞くと、前に書いておいたことのうち役に立たなくなった箇所が出てくるからです。物語の主人公が変わったなら、前の主人公を抱えている理由はありません。

消すといってもまるごと空にするわけではありません。行ごとにどれだけ残すかを0から1の間の値で決めます。そのまま残すこともあれば、半分くらいぼかすこともあり、完全に消すこともあります。

書くゲート:新しく聞いたことのうち残すものだけ

二つ目のゲートは、たった今聞いた一言の中から何をノートに書くかを選ぶゲートです。聞いたことを全部書けばノートはすぐいっぱいになるので、あとで役に立ちそうなものだけを選びます。

このゲートは二つの部分に分かれます。片方は書く内容を作り、もう片方はその内容をどれだけ濃く書くかを決めます。二つの値を掛けた分だけがノートに加えられます。前の段階で消して空いた場所にこの内容が乗ることで、ノートが一度更新されます。

読むゲート:今必要なものだけ取り出します

三つ目のゲートは、ノートから何を取り出して隣の人にささやくかを決めます。ノートに書かれた内容をまるごと読み上げるわけではありません。今この場で必要な箇所だけを選んで送り出します。

おかげでノートは静かに長く覚えており、ささやきは一回ごとに必要なものだけを短く伝えるという役割分担が生まれます。外に見える出力はいつもこの読むゲートを経て出てきた値です。

なぜ長い文章に強いのでしょう

普通の回帰型ニューラルネットワークでは、要約が一回ごとに計算に丸ごと巻き込まれます。その過程が数十回重なると、最初の内容が残りません。LSTMのノートは違う流れ方をします。消すゲートが開かなければ、前の回の値がほぼそのまま次の回へ渡ります。

学習のときも同じです。外れた量を後ろから前へさかのぼって送るとき、この筋が近道の役目を果たし、文の冒頭まで信号が届きます。回帰型ニューラルネットワークが数十語を超えるのに苦労するとき、LSTMは数百語を扱い、長く翻訳や音声認識の主力として使われてきました。

ただし限界もそのままです。依然として一語ずつ順番にしか進めないので計算をまとめて行いにくく、ゲートが三つも付いている分だけ一回あたりの計算量も増えます。