変分オートエンコーダーVariational Autoencoder

点の代わりに範囲で書き留めます

普通のオートエンコーダーは絵一枚を短い数の束ひとつに縮めます。資料ごとに場所ひとつが決まるわけです。問題はその場所同士の間には何もないことです。場所と場所の間を選ぶと見分けのつかない結果が出ます。

変分オートエンコーダーは、縮める側が値二揃いを差し出します。ひとつは中心で、もうひとつは広がりの幅です。絵一枚が点ひとつではなく丸い領域ひとつとして記録されるわけです。

領域として記録すると、近くの資料同士の領域が互いに重なり始めます。重なった場所ではこちらの絵とあちらの絵の性質が混ざった結果が出ます。場所と場所の間の隙間が埋まることが、この方式の核心です。

毎回範囲の中からひとつを選びます

元に戻す側は中心値をそのまま受け取りません。書き留めた幅の中で一点を無作為に選び、その値で結果を作ります。同じ絵を入れても選ばれる点は毎回違うので、出る結果も少しずつ違います。

この選び方が学習をやっかいにします。無作為が入り込むと、どこをどれだけ直せばよいか逆にたどれないからです。そこで選び方を変えます。無作為な値を先にひとつ作っておき、**中心に幅を掛けて足す形で場所を決めます。**無作為が外側に出るので、中心と幅は普通に手直しできます。

罰点が二種類あります

学習で測るものが二つです。第一は元に戻した結果が原本とどれだけずれたかです。第二は書き留めた範囲が標準として決めた形からどれだけ外れているかです。配合表をそれぞれ遠く離れた場所に書き留めさせない規則です。

二つの罰点は互いに反対に引っ張ります。元に戻すことだけうまくやろうとすると、幅を限界まで狭めて点ひとつのようにしてしまいます。すると間がまた空っぽになります。逆に標準の形に合わせることだけに力を注ぐと、すべての配合表が真ん中に寄って、どんな絵を入れても似た結果が出ます。

**二つの罰点の重みをどう置くかが、この模型の性格を決めます。**重みを調節して各場所の担う性質をくっきり分けようとする試みも、この点から出てきました。

間を歩いてもそれらしいです

範囲同士が重なって場所が隙間なく埋まると、面白いことができるようになります。絵二枚の場所を取ってその間を一定の間隔で歩きながら結果を作ってみると、片方からもう片方へじわじわ変わっていく場面が出てきます。途中に見分けのつかない結果が挟まりません。

新しい結果物を作る方法も簡単になります。原本なしに標準範囲から値をひとつ選んで元に戻す側に入れればよいのです。学習になかった場所でも近くの資料の性質が混ざった結果が出ます。

結果が柔らかく出る理由

この方式で作った絵は、形は安定している代わりに縁が柔らかく細部がぼやけた印象を与えやすいです。同じ場所から複数の結果が出うる構造なので、元に戻す側がその複数の可能性の真ん中あたりを描くほうが罰点を減らすのに有利だからです。

だからくっきりした絵が必要な場面では、別の方式と組み合わせて使います。資料を小さな要約版に縮めておく役割だけこの構造に任せ、その中で結果を整える作業は染みを取り除く方式に渡す形です。音や分子構造のように場所と場所の間が滑らかにつながっている必要がある分野では、今もこの方式自体が広く使われています。