가우시안 스플래팅Gaussian Splatting

사진 여러 장에서 조각 뭉치가 나와요

한 대상을 여러 각도에서 수십 장 찍는 것으로 시작해요. 먼저 사진들을 서로 견줘서 어느 사진이 어디에서 찍혔는지 카메라 자리를 알아내요. 같은 모서리가 여러 사진에 걸쳐 나타나는 것을 단서 삼아 촬영 위치를 되짚는 거예요.

카메라 자리가 잡히면 공간에 조각을 대충 뿌려 놓고 시작해요. 처음에는 엉뚱한 자리에 엉뚱한 색으로 놓여 있어요. 이 상태에서 원래 사진과 같은 자리에서 조각 뭉치를 바라본 그림을 만들고, 진짜 사진과 얼마나 다른지 견줘요.

다르면 그만큼 조각을 옮기고, 크기를 바꾸고, 색을 고쳐요. 이 일을 수만 번 되풀이하면 조각들이 물체 표면에 착 달라붙어요. 사람이 조각을 붙이는 게 아니라 사진이 조각의 자리를 정해 주는 셈이에요.

조각 하나가 지닌 값

조각은 공 모양이 아니라 눌린 타원이에요. 어느 자리에 있는지, 얼마나 크고 어느 쪽으로 늘어났는지, 무슨 색인지, 뒤가 얼마나 비치는지를 값으로 들고 있어요.

벽이나 바닥처럼 평평한 면에는 넓적하게 눌린 조각이 몇 개만 놓여요. 나뭇잎이나 철망처럼 잔가지가 많은 곳에는 자잘한 조각이 빽빽하게 몰려요. 조각이 필요한 만큼 알아서 모양을 바꾸니까, 단순한 면은 적게 쓰고 복잡한 곳은 많이 써요.

그릴 때는 눌러서 덧칠해요

화면에 보여 줄 때는 조각 하나하나를 보는 방향에서 납작하게 누른 뒤 화면에 찍어요. 그리고 먼 조각부터 가까운 조각 순서로 차례차례 덧칠해요. 앞 조각이 반투명하면 뒤 조각 색이 비쳐 섞이고, 불투명하면 뒤가 가려져요.

이 방식은 화면의 점마다 빛이 지나온 길을 따라가며 계산하지 않아서 아주 빨라요. 그래서 마우스로 장면을 빙빙 돌려도 끊기지 않아요. 실시간으로 돌려 볼 수 있다는 점이 이 방식이 빠르게 퍼진 이유예요.

조각을 늘리고 지우며 다듬어요

만드는 도중에 조각 수는 계속 바뀌어요. 사진과 잘 맞지 않는 자리에서는 조각을 둘로 쪼개거나 새로 하나를 더해요. 반대로 거의 투명해져서 아무 일도 하지 않는 조각은 지워요.

다 만들고 나면 조각 수는 장면에 따라 수십만에서 수백만 개에 이르러요. 조각마다 값을 여러 개 들고 있으니 파일도 꽤 커져요. 대신 조각이 눈에 보이는 덩어리라서 나중에 특정 부분만 골라 지우거나 옮기는 편집이 가능해요.

NeRF와 갈라지는 지점

두 방법 모두 사진 여러 장에서 어느 각도로든 볼 수 있는 장면을 만들어요. 나뉘는 곳은 결과를 무엇으로 들고 있느냐예요. 스플래팅은 조각 뭉치라는 눈에 보이는 물건으로 들고 있고, NeRF는 공간의 자리와 방향을 넣으면 빛의 값을 돌려주는 계산 규칙으로 들고 있어요.

그러니 화면에 그리는 방법도 달라요. 스플래팅은 조각을 눌러 덧칠하고, NeRF는 화면의 점마다 시선을 쭉 뻗어 그 선 위의 값을 여러 번 물어봐요. 물어보는 횟수가 많은 쪽이 느려요.