ReLU

値を通すかどうかを決める場所

ニューロン一つは、前の層から来た値を重みで測って足し合わせます。ですが、その結果をそのまま次の層に渡すわけではありません。渡す前に一つの規則をくぐらせますが、その役目を担うのが活性化関数です。ReLUはその中で最もよく使われる規則で、していることはしきい値一つだけです。足し合わせた値が0より小さければ0を送り出し、0より大きければ入ってきた値に手を加えずそのまま送り出します。

この折れ目がなければ、層をいくら重ねても意味がありません。掛けて足す計算だけをつなげていくと、結局は一回の掛け算と足し算にまとまってしまうからです。途中に折れる場所を入れてはじめて、層ごとに新しい形を作り出せます。ReLUは0で一度だけ折れる、とても安上がりな折れ目を層ごとに差し込んでいるわけです。

半分を休ませるとかえって軽くなる

ある層にニューロンが数千個あれば、その半分ほどは負の値を受け取って0になります。0になったニューロンは次の層に何も足しません。損のように見えますが、実際は得です。毎回すべてのニューロンが少しずつ声を出す代わりに、その入力に関係のあるニューロンだけが声を出す状態になるからです。

関係のない信号が消えると、残った信号がくっきりします。計算量も減り、異なる入力が異なるニューロンを起こすことで役割分担も自然に生まれます。値の多くが0で埋まるこの性質を、疎であると呼びます。

同じ入力でも、あるニューロンは起き、あるニューロンは眠るので、層を通るたびに起きている場所の組み合わせが変わります。まっすぐな断片をつなぎ合わせて曲がった境界線を作る働きは、この組み合わせから生まれます。しきい値一つだけの規則が層ごとに積み重なって、かなり複雑な形まで描き出せる理由です。

深いニューラルネットワークを実際に動かした

ニューラルネットワークは、答えのずれを後ろから前へ送り返しながら学びます。このとき各層の活性化関数は、戻ってくる信号に自分の分を掛けます。以前よく使われていた緩やかなS字曲線は、両端でとても小さな値を掛けていました。層を十個通っただけで信号がほとんど消え、前のほうの層は学べませんでした。

ReLUは、起きている側では信号を弱めずそのまま通します。層を何十個通っても、前のほうまで学ぶ材料が残ります。深いニューラルネットワークが理論の紙の上だけでなく実際に動くものになった背景には、この単純な規則の働きが大きくあります。

眠ったまま固まるニューロン

弱点もあります。あるニューロンがどんな入力を受けても常に負の値しか出さない状態になると、出力は常に0で、戻ってくる信号も0です。直す手がかりが途切れたまま固まってしまいます。この状態を死んだニューロンと呼びます。

学習率を大きく取りすぎたときによく起こります。一度大きくずれた調整がニューロンを負の方向に深く押し込むと、戻る力がなくなります。ある層でこうしたニューロンが増えると、その層は場所を占めるだけで何もしない状態になります。

そのため、負の区間を完全に0にせずごくわずかに傾けておく変形も生まれました。少しでも信号を残しておけば、また目を覚ます道が開けるからです。学習率を低めに取ったり、初期値をうまくばらけさせたりするだけでもかなり防げます。