3D生成3D Generation

1平面には奥行きがありません

写真は世界を平たく押しつぶして写し取ったものです。あのコップが30センチ先にあるのか3メートル先にあるのかは、一枚だけでは正確に分かりません。大きさや影のような手がかりで見当をつけられるだけです。だから写真から立体を蘇らせる作業は、消えてしまった情報を取り戻す問題です。

同じものを別の場所からもう一度撮ると手がかりが生まれます。近いものは大きく動いて見え、遠いものは少ししか動いて見えません。この違いを何枚も集めれば、何がどれくらい遠くにあるかが絞られていきます。両目で見ると距離感がずっとはっきりするのと同じ理屈です。

ただしこの方法は写真に写った場所にしか通用しません。まったく写っていない裏側は手がかりがないので、どんな計算でも導き出せません。その場所は取り戻すのではなく、新たに作り込むことになります。

2何枚もの写真で組み立てる道

写真を何枚も集めて作る方式が先に定着しました。手順はおおむねこうです。まず各写真がどの場所からどの向きで撮られたかを突き止めます。写真同士に共通して写る点を見つけて対応づけると、カメラの位置が絞られます。

次に空間を埋めていきます。空間のどの地点に何がどれくらい濃くあると置けば、すべての写真が今見えている通りに見えるかを調べます。ずれていれば少しずつ直すことを繰り返し、すべての写真とつじつまが合う配置を見つけ出します。

この方式は写った場所についてはとても正確です。反面、たいていその場面一つのための計算なので他の物体にそのまま使えず、写真を偏りなく撮ってこなければなりません。片面ばかりたくさん撮ってくると、反対側は空っぽのまま残ります。最近は多くの場面で事前に学習しておいたモデルが、写真からカメラの位置と形を一度に予測する方式も登場しました。

3一枚や言葉から作る道

写真一枚、あるいは言葉一文しかないことも多くあります。このときは観察で埋められないので生成で埋めます。代表的な方法は意外に単純です。「この物を横から見ると」「後ろから見ると」という絵を何枚も作り出したあと、その絵をまるで何方向からも撮ってきた写真のように使って立体に固めます。最近は絵を経由せず、立体の形そのものを直接作り出す方式もよく使われています。

だから結果の質は、想像した絵同士がどれだけうまく噛み合うかにかかっています。正面から見た取っ手が横から見た絵にはないと、立体に固めるときに崩れます。何方向もを一度に作り、互いにずれないよう抑えることがこちらの核心課題です。

作り出した裏側はあくまでそれらしい裏側です。実際のその物の裏側とは違うことがあり、作り直すとまた変わります。実物を正確に写し取らなければならない用途にはこの方式を使ってはいけません。

4結果を何に持たせるか

殻として持つ方式は古くからあります。表面を小さな三角形でつなぎ合わせて形を作り、その上に模様の絵を貼ります。ゲームや映像ツールが昔から使ってきた形式なのですぐに使え、ファイルも軽くなります。

空間を埋める方式もあります。表面の代わりに、空間の各地点がどんな色でどれくらい濃く見えるかを持たせます。ガラスや毛のように境界がぼやけたものまで持たせられ実物らしく見えますが、殻がないので物理計算や編集にはすぐには使いにくいです。

小さなかけらを空間にまいて持たせる方式が最近広く使われています。かけら数百万個の場所と色と大きさを保存しておき、必要なときに画面にまく形なのでとても速く描き出せます。何を作りたいかによって持たせ方を選び、必要なら互いに変換して使うこともあります。

5どこがまだ弱いか

できあがったものをそのまま使うのは難しいことが多いです。表面がでこぼこしていたり三角形が多すぎたり、模様の絵が崩れて近くで見るとばれます。中が空であるべき場所が塞がっていたり、その逆だったりすることもよくあります。

薄くて細いもの、透明なもの、光るものにも弱いです。金網や髪の毛のように細いものは固まって出てきて、ガラスや金属は映り込みを表面の模様と勘違いしてそのまま刻み込むこともあります。照明を変えて当てるとぎこちなくなる理由はここにあります。