隠れ層Hidden Layer

隠したのではなく手が届かない場所です

隠れという言葉が誤解を招きがちです。何かを隠しているという意味ではありません。入力層は値を入れる場所、出力層は答えを読む場所ですが、その間の層は外から値を入れることも読むこともありません。外から直接手を出す機会がないので隠れと呼ばれます。

値が見えないわけでもありません。望めば中間層の値を取り出して見ることができます。ただその数字たちが人が読める名札を付けていないだけです。学習が自分で決めた方式で整理したものなので、人の言葉に置き換えるには別の手間がかかります。管理会社の奥の係が何をどう処理したかを、後から書類の山を見て推測するようなものです。

層を通るほど扱う単位が大きくなります

一つの層を通るということは、前の層の値を重み付けして足し、しきい値の規則を一度通すことです。この過程を経ると、前の層でばらばらだった信号がいくつかの束にまとまります。この束にまとまったものを特徴量と呼びます。

写真を扱うニューラルネットワークでこの流れがよく見えます。手前の隠れ層は明るさが急に変わる場所、つまり輪郭くらいを捉えます。次の層はその輪郭が集まってできた丸い曲線や格子模様を捉え、さらに奥では車輪や窓のような塊を捉えます。最後の層に来てようやく「車かどうか」を答えます。

大事なのは、この順序を人が決めていないという点です。どの層が何を担当するかは学習が自分で分けます。管理会社の奥の係が仕事を分担するように、層ごとに自分の得意な整理の仕方を見つけていきます。学習が進むにつれて、単純なものを担当する層と複雑なものを担当する層の役割がはっきり分かれていきます。

隠れ層がないと解けない問題

隠れ層が一つもないと、入力からまっすぐ出力へつながります。この構造は、まっすぐな境界一本で分けられる問題しか解けません。二つの条件のうちちょうど一つだけが真のとき答えが真になる問題のように、まっすぐな線一本ではとても分けられない配置は世の中によくあります。

隠れ層を一つ入れるだけで事情が変わります。途中の場所がそれぞれまっすぐな境界を一本ずつ引き、出力層がその結果をまた組み合わせるからです。まっすぐな断片をつなぎ合わせて曲がった境界を作るようなものです。層をさらに重ねると前の層が作った断片をまた組み合わせられるので、同じ数のマスでもずっと複雑な形を描けます。

何層を何マスで積むか

層の数を深さ、一層のマス数を幅と呼びます。どちらも人が学習の前に決める値です。深く積むと段階を分けて考えるのに有利で、広く取ると一段階でいくつもの方向を同時に見渡すのに有利です。

やみくもに増やせばよいわけでもありません。層が深くなるほど戻ってくる学習信号が手前まで届きにくくなり、計算とメモリもその分よけいにかかります。学習データの量に対して隠れ層が大きすぎると、問題を解くコツの代わりに資料を丸暗記してしまうこともあります。だから深さと幅は資料の量と計算資源に合わせて少しずつ試しながら決めます。決まった正解はなく、同じ問題でも試すたびにちょうどよい組み合わせが変わります。