보간Interpolation

섞는 곳은 결과물이 아니라 좌표예요

생성 모델은 그림이나 소리를 곧바로 다루지 않아요. 먼저 그 안에 담긴 뜻을 숫자 묶음으로 바꿔 놓고, 그 숫자에서 결과를 만들어요. 이 숫자 묶음이 놓이는 자리를 잠재 공간이라고 불러요.

보간은 이 좌표 위에서 일어나요. 그림 두 장을 각각 좌표로 바꾼 다음, 두 좌표 사이의 자리를 여러 개 잡고, 자리마다 다시 그림으로 펼쳐요. 좌표 하나가 그림 한 장이 되니까 중간 자리도 어엿한 그림이 돼요.

그림의 점끼리 직접 섞으면 이야기가 달라져요. 이쪽 그림 반, 저쪽 그림 반이 그대로 겹쳐 유령 사진 같은 것이 나와요. 두 방법이 만드는 그림은 겉보기부터 달라요.

사이를 몇 칸으로 나눌지

칸 수는 마음대로 정해요. 셋으로 나누면 툭툭 끊기는 느낌이고, 서른으로 나누면 물 흐르듯 이어져요. 영상으로 쓸 때는 보통 수십 칸을 잡아요.

칸을 아주 촘촘하게 나눠도 변화가 고르게 퍼지지는 않아요. 어떤 구간에서는 거의 그대로다가 어떤 구간에서 확 바뀌어요. 얼굴이 웃는 얼굴로 넘어갈 때 입꼬리가 어느 한 칸에서 갑자기 올라가는 식이에요.

그래서 결과를 늘어놓고 급하게 변하는 구간만 칸을 더 촘촘히 잡아 다시 뽑기도 해요. 전체를 무작정 촘촘하게 하는 것보다 손이 덜 가요.

영상과 음악에서 하는 일

영상에서는 장면과 장면 사이를 채우는 데 써요. 초당 장면 수가 적어 뚝뚝 끊기는 영상에 중간 장면을 끼워 넣으면 부드러워져요. 앞뒤 장면에서 무엇이 어디로 움직였는지 짚은 다음, 그 중간 자리를 만들어 넣는 방식이에요.

음악에서는 가락 두 개를 잇는 데 써요. 잔잔한 가락과 신나는 가락을 양 끝에 두고 사이를 채우면, 한쪽에서 다른 쪽으로 서서히 넘어가는 구간이 생겨요. 곡과 곡을 이어 붙일 때나 반복되는 배경 음악을 만들 때 쓰여요.

카메라를 움직이는 데도 써요. 시작 자리와 끝 자리만 정해 주면 사이를 채워 매끄럽게 움직이는 화면을 만들 수 있어요.

사이가 늘 매끄럽지는 않아요

두 좌표를 잇는 길 위에 뜻이 통하는 결과만 놓여 있으리라는 보장은 없어요. 학습에 쓴 자료가 드물었던 자리를 지나가면 형태가 뭉개진 이상한 결과가 나와요. 두 끝이 서로 아주 다를수록 이런 구간을 지날 확률이 커져요.

방향을 다루는 방법도 결과를 바꿔요. 두 좌표를 직선으로 이으면 가운데에서 값이 작아지며 흐릿해지는 경향이 있어서, 원의 호를 따라가듯 잇는 방법을 대신 쓰기도 해요. 같은 두 끝점이라도 어느 길로 가느냐에 따라 중간이 달라져요.

변형, 일관성과 갈라 두기

변형은 같은 주문에서 형제 같은 결과를 옆으로 여러 장 뽑는 일이에요. 순서가 없어요. 보간은 출발과 도착이 정해져 있고 그 사이가 한 줄로 늘어서요. 첫 칸과 끝 칸을 바꾸면 방향이 뒤집혀요.

일관성은 여러 장에 걸쳐 같은 대상을 같게 붙들어 두는 일이에요. 보간은 반대로 조금씩 달라지는 과정을 일부러 보여 주는 일이라, 두 개는 목적이 서로 엇갈려요.