オートエンコーダーAutoencoder

縮める側と元に戻す側が一対です

構造は二つの部分でできています。前半は入ってきた資料をだんだん小さな数の束に縮めていき、後半はその束だけを受け取って元の大きさの結果物を作ります。真ん中の一番狭い場所にある値が、楽譜に書かれた内容にあたります。

二つの部分は別々に学びません。**元に戻した結果が原本とどれだけ違うかを測り、その差を両側に一緒に返します。**書き取る側が雑に書けば演奏する側もどうしようもなく、うまく書けた楽譜でも演奏が下手なら結果が悪くなるので、両方を一緒に手直しします。

訓練が終われば二つの部分を切り離して別々に使えます。縮める側だけ取り出せば資料を短い値に要約する道具になり、元に戻す側だけ取り出せば短い値から結果物を作り出す道具になります。

正解表が自分自身です

普通の学習には人が付けた正解が必要です。写真ごとにラベルを貼り、文ごとに正誤を示さなければなりません。オートエンコーダーはその作業が要りません。入ってきた資料がそのまま正解なので、写真さえたくさん集めておけばそのまま練習問題になります。

この性質のおかげでラベルのない資料を思う存分使えます。工場で撮った部品の写真、サーバーが残した記録、録音ファイルのような整理されていない資料がそのまま学習材料になります。

ただし目標が「そのまま元に戻す」ことなので、うっかりすると手を抜けます。真ん中の場所が余裕たっぷりだと、要約せずに原本を丸ごと運ぶ近道を見つけ出します。だから真ん中をわざと狭くします。

どれだけ縮めるか

真ん中の場所の大きさは人が決めます。余裕を持たせておくと元に戻した結果が原本とほぼ同じになりますが、要約と呼べるものが残りません。とても狭くしておくと太い特徴だけ残り細部は消えます。

狭めるほど**何が重要かを選ばざるを得なくなります。**顔写真をいくつかの値に縮めなければならないなら、目鼻立ちの配置のような大きく違う部分が先に場所を占め、髪の毛一本の向きは捨てられます。こうして残った値がその資料の要約になります。

ちょうどよい大きさは資料と目的によって変わります。圧縮が目的なら元に戻した結果が耐えられる線まで縮め、要約値を他の作業に使うならその作業の成績を見ながら決めます。

書かなかったものは消えます

元に戻した結果は原本と同じではありません。楽譜に書かなかった揺れはいくら演奏しても出てこないのと同じです。何が消えたかを見れば、その模型が何を重要だと考えたかが分かります。

この性質を逆に利用することもあります。学習に使ったものと性格が似た資料はうまく蘇りますが、初めて見る種類が入ってくると蘇った結果が大きくずれます。ずれの度合いを測って異常の合図として使う方法が設備点検や不正取引の検出に使われます。

どこに使うか

一番分かりやすい使い道は圧縮です。資料を短い値に縮めて保存し、必要なときに元に戻します。このとき縮めた値は検索用の要約としても使えるので、似た資料を探す作業がずっと軽くなります。

雑音を消すのにも使われます。わざと染みを乗せた写真を入れ、きれいな原本を正解にしておくと、染みは書く場所がないので自然に抜け落ちます。絵を作る最近の方式でも、大きな画面を小さな要約版に縮めておいてその中で作業したあとまた広げる場所に、この構造が入ります。