디퓨전 모델Diffusion Model

망가뜨리는 연습을 먼저 해요

학습은 그림을 만드는 쪽이 아니라 부수는 쪽에서 시작해요. 사진 한 장을 놓고 아주 옅은 얼룩을 한 겹 끼얹어요. 그 결과에 또 한 겹, 또 한 겹 얹다 보면 수백 걸음 뒤에는 원래 무엇이었는지 알아볼 수 없는 판이 남아요.

이렇게 만든 중간 단계들은 전부 문제와 정답이 짝지어진 연습 문제가 돼요. 얼룩이 세 겹 얹힌 화면을 보여 주고 방금 얹힌 얼룩이 어떤 것이었는지 맞히게 하는 식이에요. 정답은 얹을 때 기록해 두었으니 언제나 확인할 수 있어요.

이 연습을 수억 번 반복하면 어떤 화면을 보여 줘도 "여기서 얼룩으로 보이는 부분은 이만큼"이라고 짚어 낼 수 있게 돼요. 그림을 만드는 능력이 아니라 얼룩을 알아보는 능력을 먼저 기르는 셈이에요.

만들 때는 거꾸로 걷어 내요

그림을 만들 때는 사진이 아니라 아무 뜻 없는 얼룩 화면 한 장을 새로 뿌려 놓고 시작해요. 여기에 대고 "얼룩으로 보이는 부분이 어디냐"고 물으면 답이 나오죠. 그 답을 조금 덜어 내면 화면이 아주 살짝 정돈돼요.

정돈된 화면을 다시 들이밀고 같은 질문을 해요. 이 되묻기를 수십 번 반복하면 얼룩 사이에 없던 형태가 서서히 자리를 잡아요. 원래 사진을 되찾는 것이 아니라 한 번도 없던 그림이 새로 만들어져요. 시작 화면이 아무 사진과도 무관하기 때문이에요.

한꺼번에 걷어 내지 않는 이유가 있어요. 얼룩이 잔뜩인 화면에서 곧장 완성작으로 건너뛰라고 하면 짐작이 크게 빗나가요. 조금 덜어 내고 다시 보는 방식은 매 걸음 짐작이 어긋난 만큼을 바로 다음 걸음에서 고칠 수 있어요.

첫 얼룩 무늬가 결과를 정해요

시작 화면의 얼룩은 아무렇게나 뿌려지지만, 한번 뿌려지고 나면 그 무늬가 결과를 크게 좌우해요. 어느 자리가 조금 짙었는지가 첫 걸음의 판단을 바꾸고, 그 판단이 다음 걸음으로 이어지기 때문이에요.

그래서 같은 주문을 넣어도 시작 무늬가 다르면 구도와 색이 전혀 다른 그림이 나와요. 반대로 시작 무늬를 그대로 두고 주문만 조금 바꾸면 비슷한 구도를 유지한 채 세부만 달라진 그림을 얻을 수 있어요. 마음에 든 결과를 조금씩 손보는 작업이 이 성질 위에서 이뤄져요.

걷어 내는 도중에 방향을 잡아 줘요

얼룩을 짚어 낼 때마다 그림 설명을 함께 들이밀 수 있어요. "노란 들판"이라는 설명이 붙어 있으면 얼룩을 덜어 내는 방향이 그쪽으로 기울어요. 걸음마다 이 설명을 다시 참고하니까, 방향은 처음 한 번이 아니라 수십 걸음 내내 계속 작용해요.

설명을 얼마나 강하게 따를지도 조절할 수 있어요. 약하게 두면 자유롭지만 주문에서 멀어지고, 강하게 두면 주문에 충실한 대신 색이 튀거나 딱딱해지기 쉬워요. 넣고 싶지 않은 것을 따로 적어 반대 방향으로 밀어내는 방법도 같은 원리를 씁니다.

단계를 몇 번 밟느냐가 품질과 시간을 갈라요

몇 걸음에 나눠 걷어 낼지는 사람이 정해요. 걸음이 적으면 한 번에 많이 덜어 내야 해서 짐작이 거칠어지고, 결과에 뭉개진 자국이 남기 쉬워요. 걸음을 늘리면 매끈해지지만 그만큼 계산이 늘어 기다리는 시간도 길어져요.

걸음을 무한정 늘린다고 계속 좋아지지는 않아요. 어느 지점을 넘어서면 눈에 보이는 차이가 거의 없어지고 시간만 늘어요. 걷어 내는 요령을 개선해 적은 걸음으로도 비슷한 결과를 내는 방법이 계속 나오고 있어요.