ガウシアンスプラッティングGaussian Splatting

写真数枚からかけらの塊ができる

一つの対象を複数の角度から数十枚撮ることから始めます。まず写真同士を見比べてどの写真がどこで撮られたかカメラの位置を突き止めます。同じ角が複数の写真にまたがって現れることを手がかりに、撮影位置をたどり直すのです。

カメラの位置が定まると、空間にかけらを大まかにまいて始めます。最初はでたらめな場所にでたらめな色で置かれています。この状態で元の写真と同じ場所からかけらの塊を眺めた絵を作り、本物の写真とどれだけ違うか見比べます。

違えばその分かけらを動かし、大きさを変え、色を直します。これを数万回繰り返すとかけらが物体の表面にぴたりと張り付きます。人がかけらを貼るのではなく、写真がかけらの場所を決めているわけです。

かけらひとつが持つ値

かけらは球ではなく押しつぶされた楕円です。どの場所にあるか、どれくらい大きくどちらへ伸びているか、何色か、奥がどれくらい透けているかを値として持っています。

壁や床のような平らな面には、平たく押しつぶされたかけらが数個だけ置かれます。葉っぱや金網のように細かい枝が多い場所には、細かいかけらがびっしり集まります。かけらは必要なだけ自分で形を変えるので、単純な面には少なく、複雑な場所には多く使われます。

描くときは押しつぶして重ね塗り

画面に表示するときは、かけら一つひとつを見る方向に平たく押しつぶして画面に映します。そして遠いかけらから近いかけらの順に順番に重ね塗りします。手前のかけらが半透明なら奥の色が透けて混ざり、不透明なら奥は隠れます。

この方式は画面の点ごとに光の通ってきた道筋をたどって計算しないのでとても速いです。だからマウスで場面をぐるぐる回しても途切れません。リアルタイムで回して見られる点が、この方式が急速に広がった理由です。

かけらを増やし消して整える

作っている途中でかけらの数はずっと変わります。写真とうまく合わない場所ではかけらを二つに分けたり新しく一つ加えたりします。逆にほとんど透明になって何の役目もしていないかけらは消します。

作り終えるとかけらの数は場面によって数十万から数百万個に達します。かけらごとに値をいくつも持っているのでファイルもかなり大きくなります。反面、かけらが目に見える塊なので、あとで特定の部分だけ選んで消したり動かしたりする編集ができます。

NeRFと分かれる点

両方式とも写真複数枚からどの角度からも見られる場面を作ります。分かれるのは結果を何として持つかです。スプラッティングはかけらの塊という目に見える物として持ち、NeRFは空間の場所と方向を入れると光の値を返す計算規則として持っています。

だから画面に描く方法も違います。スプラッティングはかけらを押しつぶして重ね塗りし、NeRFは画面の点ごとに視線をまっすぐ伸ばしその線上の値を何度も尋ねます。尋ねる回数が多いほうが遅くなります。