NeRFNeural Radiance Field

1사진 수십 장으로 안내소를 길들여요

같은 대상을 여러 각도에서 찍은 사진 수십 장이 재료예요. 사진마다 어디에서 찍혔는지 카메라 자리를 먼저 알아내고, 그 자리에서 화면의 점 하나하나로 시선을 뻗어요.

처음에는 안내소가 아무 말이나 해요. 시선을 따라 모은 답으로 그림을 만들면 원래 사진과 딴판이에요. 그 차이만큼 안내소가 답하는 버릇을 조금씩 고쳐요.

이 일을 수십만 번 되풀이하면 안내소는 사진에 찍힌 자리와 방향에 대해 사진과 거의 같은 답을 하게 돼요. 그러고 나면 사진을 찍지 않은 자리에서 물어봐도 그럴듯한 답이 나와요. 사진과 사진 사이의 빈 각도를 메우는 셈이에요.

2안내소는 색과 진하기를 답해요

물어볼 때 넘기는 것은 두 가지예요. 공간의 어느 자리인지, 그리고 어느 방향에서 보고 있는지예요. 돌아오는 답도 두 가지예요. 그 자리에서 나오는 빛의 색, 그리고 그 자리가 얼마나 꽉 차 있는지예요.

진하기는 안개와 비슷해요. 값이 거의 0이면 텅 빈 공기라 시선이 그냥 지나가고, 값이 크면 단단한 표면이라 시선이 거기서 막혀요. 표면이 어디인지 따로 알려 주지 않아도, 진하기가 갑자기 커지는 자리가 곧 표면이 돼요.

3시선 위의 답을 쌓아 한 점을 칠해요

화면의 점 하나를 칠하려면 그 점에서 장면 속으로 시선을 쭉 뻗어요. 그 선 위에 자리를 수십에서 수백 개 잡고, 자리마다 안내소에 물어봐요.

돌아온 답은 앞에서부터 쌓아요. 앞쪽에서 이미 진한 답이 나왔으면 뒤쪽 색은 가려져 거의 묻히고, 앞이 비어 있으면 뒤쪽 색이 그대로 올라와요. 이렇게 모은 색이 그 점의 최종 색이 돼요.

그림 한 장을 만들려면 화면의 모든 점에 대해 이 일을 해야 해요. 점 하나에 물음이 수백 번이니 전체 횟수는 어마어마해요. NeRF가 느리다는 말이 나오는 이유가 여기 있어요.

4방향에 따라 답이 달라져요

같은 자리라도 어느 쪽에서 보느냐에 따라 색이 달라질 수 있어요. 유리컵의 반사, 금속의 번쩍임, 젖은 바닥에 비친 빛이 그래요. 물어볼 때 방향을 함께 넘기는 이유예요.

방향을 빼고 자리만 물으면 반짝이던 표면이 밋밋한 페인트칠처럼 나와요. 방향까지 넣으면 고개를 돌릴 때 반사가 따라 움직이는 느낌이 살아나요. 대신 사진이 부족한 각도에서는 이 자유로움이 거꾸로 작용해서, 허공에 뿌연 안개 같은 얼룩이 생기기도 해요.

5가우시안 스플래팅과 갈라지는 지점

가우시안 스플래팅도 사진 여러 장에서 같은 일을 해요. 갈라지는 곳은 결과를 무엇으로 들고 있느냐예요. 스플래팅은 공간에 뿌려 둔 조각 뭉치라는 눈에 보이는 물건을, NeRF는 물으면 답하는 계산 규칙을 들고 있어요.

그러니 스플래팅은 조각을 화면에 눌러 찍기만 하면 되어 빠르고, NeRF는 시선마다 수백 번 물어봐야 해서 느려요. 대신 NeRF는 장면을 작은 규칙 하나로 담아 저장 공간을 적게 쓰고, 표면이나 반사가 매끄럽게 이어지도록 담는 데 유리해요.