動画生成Text-to-Video

1一枚ではなくつながる複数枚

動画は1秒に24枚前後の絵が素早く切り替わるものです。5秒のものを作るだけでも絵が百枚以上必要だということです。ですがこれらの絵をそれぞれ別々に作ると、決して動画にはなりません。同じ注文で絵を何枚も出してつなげると、場面ごとに違う世界になってしまいます。

だから動画生成はたいてい最初から複数枚をひとまとまりにして作ります。一枚目を作ってから次の一枚を作る方式ではなく、全体をぼんやりした状態から始めていっしょにくっきりさせていきます。前後を同時に見ながら整えるので、間がつながるのです。長い動画では、前のかたまりを見て次のかたまりを続けて作る方式も使われます。

2時間も一緒に扱います

絵の生成が横と縦の二方向を見るなら、動画生成にはそこに時間という方向がもうひとつ加わります。画面左上の場所は隣の場所とも関係がありますが、直前・直後の瞬間の同じ場所やその近くの場所とも関係があります。この時間方向の関係も一緒に見てこそ動きが自然になります。

方向がひとつ増えると扱う値が場面の数だけ、数十倍、数百倍に増えます。同じ画質でも五倍長くなると、手間は五倍どころかそれ以上かかります。作るのに時間がかかり、長さが短く区切られる理由がここにあります。

だから動画をまず小さく圧縮した状態で作り、最後に元の大きさに戻す方法がよく使われます。以前は、骨組みを作り、間を埋め、解像度を上げるというように、いくつかの段階に分けて作ることもありました。

3つながりが崩れる場所

もっとも崩れやすいのは登場するものの正体です。前で青いコップを持っていたのに数秒後には緑のコップになっていたり、歩いている途中の一歩で服装が変わったりします。モデルの中に登場するものを別に保存しておく場所がなく、場面どうしを似せて合わせる方式なので、その合わせ方が少しゆるむだけですぐにずれます。そのため、人物や物の参考画像を別に入れて姿を保たせる機能を備えたツールも多いです。

背景もよく揺れます。カメラが横に動いてまた戻ってきたとき、さっき通り過ぎた場所が違う姿で戻ってくることがよくあります。画面の外へ出てまた入ってくるものはとくに弱く、出るときと入るときがまるで違う場合が多いです。

文字も弱点です。看板や標識の文字は一枚でも難しいのに、場面が切り替わると字画が絶えず揺らぎます。だから文字が重要な動画は、生成した画面の上に別に載せる方式で作ります。

4物理をまだよく間違えます

水が上向きに流れたり、落ちた物が跳ねずに止まったり、割れたガラスがそのまま元に戻ったりする場面が出ます。世界がどう動くかを規則として学んだのではなく、それらしく見える見た目を学んで真似た結果だからです。

手に持った物を移したり何かを注いだりするように、二つが触れて状態が変わる場面でとくにずれやすいです。短く切って難しい動作を避けると目立ちにくくなりますが、この問題を正面から扱おうとする流れが、世界の規則を中に取り込もうとする研究へつながっています。

5何を注文できるか

注文には絵で使っていたものがそのまま入ります。何がありどんな雰囲気でどんな色かです。ここに動画だけの項目が加わります。カメラをゆっくり押し込むか、横に流すか、固定するかといったことです。

始まりの絵を直接与える方法もよく使われます。気に入った一枚を先に作っておき、「この場面から始めてこう動いて」と渡す方式です。始点が決まっているので結果をずっと見当づけやすく、実際の作業でよく使われます。人物や物の参考画像を何枚も入れる方式もあります。