補間Interpolation

混ぜる場所は結果物ではなく座標です

生成モデルは絵や音をそのまま扱いません。まずその中に込められた意味を数字の束に変えておき、その数字から結果を作ります。この数字の束が置かれる場所を潜在空間と呼びます。

補間はこの座標の上で起こります。絵二枚をそれぞれ座標に変えたあと、二つの座標の間の場所を複数取り、場所ごとにまた絵として展開します。座標ひとつが絵一枚になるので、中間の場所も立派な絵になります。

絵の点どうしを直接混ぜると話が変わります。こちらの絵半分、あちらの絵半分がそのまま重なり幽霊写真のようなものが出てきます。二つの方法が作る絵は見た目からして違います。

間をいくつの枠に分けるか

枠の数は自由に決めます。三つに分けるとぶつぶつ途切れる感じで、三十に分けると水が流れるようにつながります。動画に使うときはたいてい数十枠を取ります。

枠をとても細かく分けても変化が均等に広がるわけではありません。ある区間ではほとんど変わらず、ある区間で急に変わります。笑っていない顔が笑顔に移るとき、口角がある枠だけで急に上がるようなことが起きます。

だから結果を並べてみて、急に変わる区間だけ枠をより細かく取り直すこともあります。全体を闇雲に細かくするより手間が少なくて済みます。

動画と音楽でしていること

動画では場面と場面の間を埋めるのに使います。一秒あたりの場面数が少なくかくかくする動画に中間の場面を差し込むと滑らかになります。前後の場面で何がどこへ動いたかを調べたあと、その中間の場所を作って入れる方式です。

音楽では旋律を二つつなぐのに使います。静かな旋律とにぎやかな旋律を両端に置いて間を埋めると、一方からもう一方へ徐々に移っていく区間ができます。曲と曲をつなげるときや、繰り返される背景音楽を作るときに使われます。

カメラを動かすのにも使います。始まりの位置と終わりの位置だけ決めれば、間を埋めて滑らかに動く画面を作れます。

間がいつも滑らかとは限りません

二つの座標をつなぐ道の上に意味の通じる結果だけが並んでいる保証はありません。学習に使った材料が乏しかった場所を通ると、形が崩れた不自然な結果が出ます。両端が互いにかなり違うほど、こうした区間を通る確率が高くなります。

つなぎ方によっても結果は変わります。二つの座標を直線で結ぶと真ん中で値が小さくなってぼやける傾向があるので、円弧をたどるようにつなぐ方法を代わりに使うこともあります。同じ両端でもどの道を通るかで中間が変わります。

バリエーション、一貫性との違い

バリエーションは同じ注文から兄弟のような結果を横に何枚も出す作業です。順番がありません。補間は出発と到着が決まっていて、その間が一列に並びます。最初の枠と最後の枠を入れ替えると向きが反転します。

一貫性は複数枚にわたって同じ対象を同じように保つ作業です。補間は反対に少しずつ変わっていく過程をわざと見せる作業なので、二つは目的がすれ違います。