テキスト画像生成Text-to-Image

文章はまず意味に変わります

書き入れた文章はすぐに絵になるわけではありません。まず文章の意味を数値の集まりに変える段階を経ます。この段階で、黄色い野原と金色の畑のように表現は違っても意味が近い言葉は近い値になります。

だから単語を一つずつ移し替える方式とは結果が違います。文章全体の雰囲気が値に込められ、絵を作る側はその値を方向にして動きます。多少表記が崩れていてもだいたい通じるのは、このおかげです。

日本語で書いてもおおむね通じますが、学習に使われた説明文が英語に偏っているため、表現によって結果がぶれることがあります。望む絵が出ないときは、同じ内容を別の言葉に言い換えてみるのが役に立ちます。

絵はノイズから始まります

絵を作る側は白紙ではなく、意味のないノイズだらけの画面から出発します。ここに向かって文章の意味を参考にしながらノイズを少しずつ取り除きます。何十回か取り除くと、ノイズの間に形が徐々に定まっていきます。

画面が徐々に鮮明になっていく様子を見せるサービスが多いですが、それは演出ではなく実際に起きていることです。取り除くたびに文章を参照し直すので、書き入れた言葉は最初の一回だけでなく最後まで影響します。

同じ文章にも違う絵が出ます

出発点になるノイズは毎回新しくまかれます。どの場所が濃かったかによって最初の一歩の判断が変わり、その差が最後まで続きます。だから同じ文章を入れても構図と色が違う絵が出ます。

この性質は不便な点でもあり役に立つ点でもあります。一度で望む絵を得るのは難しいですが、何枚か作っておいてその中から気に入ったものを選べます。気に入った一枚を基準に少しずつ手直しする方法もあります。

うまくいくこととまだ苦手なこと

風景、物、画風がはっきりした挿絵はだいたいうまく出ます。反対にまだ難しいものもあります。看板や文の文字はよくつぶれ、指や脚のように本数や関節が決まった部分も崩れやすいです。

数を数えることも弱いです。五輪と書いても四輪や六輪になることがよくあります。複数の対象の位置関係を指定することも同様で、左に何、右に何と書いても場所が入れ替わったりします。

望むものがうまく出ないときは、文章を長く伸ばすより核心を前に置いて不要な言葉を削るほうがよいです。入れたくないものを別に書いておく欄があるサービスもあります。

使うときに知っておくとよいこと

作られた絵には学習に使われた資料の傾向が表れます。特定の職業を書くといつも似た服装が出るという具合です。そのまま使う前に一度見直すのがよいです。

実在の人物に似た絵や特定の作家の画風をそのまま真似た絵は、**肖像や著作権の問題につながることがあります。**サービスによって作った絵を商業利用できるかどうかが違うので利用規約を確認し、どこに使うかに応じて作った絵であるという表示を残すのが安全です。