스타일 전이Style Transfer

무엇이 남고 무엇이 바뀌나요

남는 것은 자리예요. 무엇이 화면 어디에 놓였는지, 어떤 형태인지, 어디가 밝고 어두운지가 그대로 지켜져요. 바뀌는 것은 표면이에요. 색의 조합, 붓 자국의 크기와 방향, 종이나 천의 결 같은 질감, 윤곽선의 굵기가 견본을 따라가요.

이렇게 갈라 다룰 수 있는 이유가 있어요. 결에 해당하는 성질은 화면 곳곳에서 되풀이돼요. 왼쪽 위에서 굵은 붓 자국이 보이면 오른쪽 아래에서도 보여요. 위치와 상관없이 전체에서 뽑아낼 수 있는 성질이라 견본에서 떼어 와 옮기기 좋아요. 반면 무엇이 어디 있는지는 자리마다 다른 정보라 옮기지 않고 지켜야 해요.

얼마나 입힐지 정해요

결을 약하게 입히면 색조와 분위기만 살짝 바뀌고 사진의 세부는 대부분 살아 있어요. 세게 입히면 붓 자국이 굵어지면서 화면을 덮어요. 이때 작고 촘촘한 부분부터 먼저 무너져요. 간판 글자, 멀리 있는 창틀, 잎사귀 하나하나 같은 것들이 뭉개져 덩어리가 돼요.

한 가지 결을 여러 사진에 똑같은 세기로 입히면 사진마다 결과가 달라 보이기도 해요. 원래 색이 화려한 사진은 견본의 색과 부딪혀 탁해지고, 밋밋한 사진은 견본의 색을 고스란히 받아 살아나요. 사진마다 세기를 조금씩 달리 잡아야 한 세트로 묶여 보여요.

그래서 내용 그림은 또렷하고 큼직한 것이 좋아요. 이미 흐릿하거나 자잘한 것이 빽빽한 사진에 결을 세게 입히면 무엇을 찍은 사진인지 알아보기 어려워져요. 결 견본은 반대로 무늬가 뚜렷한 그림이 잘 먹혀요.

밑그림을 바탕으로 새로 그리는 일과는 달라요

밑그림을 건네 새 그림을 받는 방식은 내용까지 새로 만들어요. 값을 올리면 원본에 없던 물건이 생기고 배치도 달라져요. 스타일 전이는 그렇지 않아요. 결만 갈아입히는 것이 목적이라 화면에 담긴 것을 늘리거나 줄이지 않아요.

그래서 쓰임이 갈려요. 배치는 지키고 분위기만 통일하고 싶을 때, 여러 장의 사진을 한 세트로 묶고 싶을 때는 스타일 전이가 편해요. 반대로 구도만 빌리고 내용은 새로 얻고 싶다면 밑그림을 건네는 쪽이 맞아요.

옮겨지지 않는 것

견본에서 옮겨 오는 것은 표면의 결까지예요. 화가가 무엇을 화면에 넣고 무엇을 뺐는지, 인물을 어디에 세웠는지, 형태를 어떻게 일부러 비틀었는지 같은 판단은 옮겨지지 않아요. 그래서 결과물은 그 화가처럼 그린 그림이 아니라, 그 그림의 표면을 흉내 낸 내 사진에 가까워요.

남의 작품을 견본으로 쓸 때 조심할 점이기도 해요. 결과가 원작과 닮아 보여도 원작의 판단이 담긴 것은 아니고, 반대로 특정 작가의 그림을 견본으로 삼아 만든 결과물을 어디에 쓸지는 따로 살펴야 해요.