NeRFNeural Radiance Field

写真数十枚で案内所を仕込む

同じ対象を複数の角度から撮った写真数十枚が材料です。写真ごとにどこで撮られたかカメラの位置をまず突き止め、その位置から画面の点一つひとつへ視線を伸ばします。

最初は案内所がでたらめに答えます。視線に沿って集めた答えで絵を作ると、元の写真とはまるで違います。その差の分だけ、案内所が答える癖を少しずつ直します。

これを数十万回繰り返すと、案内所は写真に写った場所と方向についてほぼ写真と同じ答えをするようになります。そうなると写真を撮っていない場所で尋ねても、それらしい答えが返ってきます。写真と写真の間の角度の隙間を埋めているわけです。

案内所は色と濃さを答える

尋ねるとき渡すのは二つです。空間のどの場所か、そしてどの方向から見ているかです。返ってくる答えも二つです。その場所から出る光の色、そしてその場所がどれくらい詰まっているかです。

濃さは霧に似ています。値がほぼゼロなら空っぽの空気なので視線はそのまま通り抜け、値が大きければ固い表面なので視線はそこで止まります。表面がどこかを別に教えなくても、濃さが急に大きくなる場所がそのまま表面になります。

視線上の答えを積み上げて一点を塗る

画面の一点を塗るには、その点から場面の中へ視線をまっすぐ伸ばします。その線上に位置を数十から数百個取り、位置ごとに案内所に尋ねます。

返ってきた答えは手前から積み上げます。手前ですでに濃い答えが出ていれば奥の色は隠れてほとんど埋もれ、手前が空いていれば奥の色がそのまま乗ります。こうして集めた色がその点の最終的な色になります。

絵を一枚作るには、画面のすべての点についてこれをしなければなりません。一点への問いが数百回なので、全体の回数はとてつもない数になります。NeRFが遅いと言われる理由がここにあります。

方向によって答えが変わる

同じ場所でもどちら側から見るかによって色が変わることがあります。グラスの反射、金属の光り、濡れた床に映る光がそうです。尋ねるとき方向も一緒に渡すのはこのためです。

方向を抜いて場所だけを尋ねると、光っていた表面がのっぺりしたペンキ塗りのように出ます。方向まで入れると、首を動かしたとき反射がついて動く感覚が生まれます。反面、写真が足りない角度ではこの自由さが裏目に出て、宙にぼんやりした霧のような染みができることもあります。

ガウシアンスプラッティングと分かれる点

ガウシアンスプラッティングも写真数枚から同じことをします。分かれるのは結果を何として持つかです。スプラッティングは空間にまいたかけらの塊という目に見える物を、NeRFは尋ねると答える計算規則を持っています。

だからスプラッティングはかけらを画面に押し付けて描くだけなので速く、NeRFは視線ごとに数百回尋ねなければならないので遅いです。反面NeRFは、霧や半透明のガラスのように表面がはっきりしない対象を滑らかに描くのに強いです。