スタイル転移Style Transfer

何が残り何が変わるのか

残るのは配置です。何が画面のどこに置かれ、どんな形で、どこが明るくどこが暗いかがそのまま守られます。変わるのは表面です。色の組み合わせ、筆の跡の大きさと向き、紙や布のような質感、輪郭線の太さが見本に従います。

こう分けて扱える理由があります。結にあたる性質は画面のあちこちで繰り返されます。左上で太い筆の跡が見えれば右下でも見えます。位置に関係なく全体から取り出せる性質なので、見本から切り離して移しやすいのです。反対に何がどこにあるかは場所ごとに違う情報なので、移さずに守る必要があります。

どれだけ着せるか決めます

結を弱く着せると色調と雰囲気だけ少し変わり、写真の細部はほとんど残ります。強く着せると筆の跡が太くなって画面を覆います。このとき小さく細かい部分から先に崩れます。看板の文字、遠くの窓枠、葉っぱひとつひとつのようなものが埋もれて塊になります。

ひとつの結を複数の写真に同じ強さで着せても、写真ごとに結果が違って見えることがあります。元の色が派手な写真は見本の色とぶつかって濁り、地味な写真は見本の色をそのまま受けて生き生きします。写真ごとに強さを少しずつ変えてこそ、ひとそろいにまとまって見えます。

だから内容の絵ははっきりして大きめのものがよいです。すでにぼやけていたり細かいものが密集している写真に結を強く着せると、何を撮った写真か見分けにくくなります。結の見本は反対に模様がはっきりした絵のほうがよく効きます。粒の粗い布や大きな筆遣いの絵のように、繰り返しの単位が大きい見本ほど写真に移したときも見分けやすく残ります。

下絵から新しく描く作業とは違います

下絵を渡して新しい絵を受け取る方式は、内容まで新しく作ります。値を上げると元になかった物が生まれ配置も変わります。スタイル転移はそうではありません。結だけ着せ替えることが目的なので、画面に含まれるものを増やしたり減らしたりしません。

だから使い道が分かれます。配置は守って雰囲気だけそろえたいとき、複数の写真をひとそろいにまとめたいときはスタイル転移が便利です。反対に構図だけ借りて内容は新しく得たいなら、下絵を渡すほうが合っています。

移らないもの

見本から移ってくるのは表面の結までです。描き手が何を画面に入れ何を外したか、人物をどこに立たせたか、形をどう意図的にゆがめたかといった判断は移りません。だから出来上がったものは、その描き手のように描いた絵ではなく、その絵の表面をまねた自分の写真に近いものです。

他の作品を見本に使うとき気をつける点でもあります。結果が原作に似て見えても原作の判断が入っているわけではなく、反対に特定の作風を見本にして作った結果をどこに使うかは別に考える必要があります。見本をひとつだけでなく複数用意し、共通する結だけを取り出すようにすると、特定の一枚に寄りすぎない結果になりやすいです。