잠재 공간Latent Space

자리가 곧 성질이에요

모델은 사진이나 문장을 그대로 다루지 않아요. 먼저 짧은 숫자 묶음으로 줄여요. 그 숫자 묶음 하나가 서랍 속 한 자리에 해당하고, 줄인 값이 놓일 수 있는 자리를 모두 모은 것이 잠재 공간이에요.

한 자리에는 여러 개의 숫자가 붙어요. 가로세로 두 방향만 있는 서랍과 달리 방향이 수십 개에서 수백 개까지 있어요. 사람이 머릿속에 그리기는 어렵지만, 자리와 자리 사이의 거리를 재고 방향을 따라 움직이는 일은 똑같이 할 수 있어요.

중요한 것은 이 자리들이 아무렇게나 흩어져 있지 않다는 점이에요. 줄이는 연습을 반복하는 동안 비슷한 자료끼리 가까이 모이게 자리가 정리돼요. 그렇게 정리해야 되살릴 때 유리하기 때문이에요.

가까우면 비슷하고 멀면 달라요

같은 종류의 사진들은 서로 이웃한 자리에 놓여요. 사진의 화소가 비슷해서가 아니라 모델이 중요하다고 판단한 성질이 비슷하기 때문이에요. 배경 색이 전혀 달라도 찍힌 대상이 같으면 가까이 놓이는 일이 생겨요.

이 성질이 검색에 쓰여요. 찾고 싶은 자료를 같은 방식으로 줄여 자리를 구하고, 그 근처에 놓인 것들을 꺼내면 돼요. 이름이나 글자가 겹치지 않아도 성질이 닮은 것을 찾아낼 수 있어요.

방향에도 뜻이 생겨요

자리들이 정리되면 방향에도 규칙이 생겨요. 어떤 방향으로 조금 움직이면 결과가 밝아지고, 다른 방향으로 움직이면 나이가 들어 보이는 식이에요. 한 성질만 골라 바꾸는 일이 가능해지는 것이 이 때문이에요.

다만 이 방향들은 사람이 정해 준 것이 아니에요. 학습이 끝난 뒤에 사람이 이리저리 움직여 보며 찾아낸 것이라, 딱 떨어지게 나뉘어 있지 않아요. 밝기를 바꾸려 했는데 배경까지 같이 바뀌는 일이 흔해요.

사이 자리를 집으면 사이 결과가 나와요

두 자료의 자리를 잡고 그 사이를 일정한 간격으로 걸어가며 결과를 만들면, 한쪽에서 다른 쪽으로 서서히 변해 가는 장면들이 나와요. 두 그림을 겹쳐 흐리게 섞은 것과는 달라요. 중간 자리에서 나온 결과도 그 자체로 온전한 한 장이에요.

이 걸어가기가 잘 되려면 자리 사이가 촘촘히 메워져 있어야 해요. 자료마다 점 하나만 찍혀 있고 사이가 텅 비어 있으면 중간에서 알아볼 수 없는 결과가 나와요. 자료를 점이 아니라 범위로 기억하게 만드는 방식이 나온 이유가 여기에 있어요.

구역 밖은 비어 있어요

잠재 공간이 넓다고 어느 자리나 쓸 수 있는 것은 아니에요. 학습에 쓴 자료들이 자리 잡은 구역이 있고, 그 바깥은 한 번도 연습해 보지 않은 자리예요. 거기서 값을 꺼내면 결과가 뭉개지거나 엉뚱한 것이 나와요.

서랍으로 치면 칸막이 밖의 빈 바닥에 물건을 놓은 셈이에요. 자리가 있기는 하지만 그 자리가 무엇을 뜻하는지 아무도 정해 준 적이 없어요. 새 결과물을 만들 때 아무 값이나 넣지 않고 학습 자료가 모여 있는 구역 근처에서 뽑는 것도 이 때문이에요.