컨트롤넷ControlNet

말로는 자리를 정하기 어려워요

주문 문장은 무엇을 그릴지 정하는 데는 잘 통해요. 그런데 "왼쪽에서 빛이 들어오고, 창틀이 화면 오른쪽 위 삼분의 일 지점에 걸치고, 의자는 살짝 비스듬히" 같은 요구는 문장으로 옮기는 순간 뭉개져요. 같은 문장을 열 번 넣으면 열 번 다른 배치가 나와요.

뽑기 번호를 고정하면 같은 그림이 다시 나오기는 해요. 하지만 그건 그림 한 장을 붙잡아 두는 것이지 구도를 붙잡는 것이 아니에요. 문장을 한 글자만 고쳐도 화면 전체가 다시 흐트러져요.

컨트롤넷은 이 문제를 말로 풀지 않아요. 원하는 배치를 선으로 그려서 그대로 건네요. 문장은 문장대로 두고, 자리는 선으로 정하는 방식이에요.

건네는 것은 그림이 아니라 선 한 겹이에요

건네는 밑그림은 완성된 그림이 아니에요. 사진에서 경계선만 뽑아낸 선 그림, 관절 위치만 이어 놓은 뼈대 선, 화면 각 자리가 얼마나 멀리 있는지를 밝기로 표시한 농담 지도처럼 정보를 한 겹만 남긴 그림이에요.

한 겹만 남기는 데는 이유가 있어요. 참고 사진을 통째로 넣으면 색과 재질까지 따라와서 새로 만들 여지가 사라져요. 경계선만 남기면 형태는 지켜지면서 색과 질감 자리는 비어 있게 되고, 그 빈자리를 주문 문장이 채워요. 다림질로 잡는 것이 천이 아니라 접히는 자리 하나인 것과 같아요.

밑그림을 손으로 그릴 필요도 없어요. 참고 사진 한 장을 넣으면 선이나 뼈대를 뽑아 주는 도구가 따로 있어서, 그 결과를 그대로 씁니다. 물론 직접 선을 그어 넣어도 돼요.

원래 것은 그대로 두고 선만 얹어요

컨트롤넷은 이미지 생성 모델을 새로 만들지 않아요. 이미 학습을 끝낸 모델은 손대지 않고 잠가 둔 채, 그 옆에 같은 모양의 사본을 하나 두고 사본만 학습시켜요. 사본은 밑그림을 읽어서 "여기에 선이 있다"는 신호로 바꾸는 일을 배워요.

사본이 만든 신호는 원래 모델이 그림을 다듬는 중간중간에 더해져요. 처음에는 이 신호가 아무 영향도 주지 않게 눌러 두었다가, 학습이 진행되면서 조금씩 제 몫을 하도록 열어 줘요. 천의 짜임은 건드리지 않고 접히는 자리만 더하는 것과 같은 방식이에요.

이 구조 덕분에 밑그림 종류마다 곁가지를 따로 만들어 두고 필요할 때 갈아 끼울 수 있어요. 선을 붙잡는 곁가지와 자세를 붙잡는 곁가지를 각각 붙였다 떼고, 둘을 한꺼번에 붙이는 것도 돼요.

얼마나 세게, 어디까지 잡을지

밑그림을 얼마나 세게 따를지는 손잡이 하나로 조절해요. 세게 잡으면 선을 한 치도 벗어나지 않지만 그림이 뻣뻣해지고 선 바깥이 빈약해져요. 느슨하게 잡으면 자연스러워지는 대신 구도가 조금씩 밀려요. 다리미를 오래 누르느냐 스치듯 대느냐의 차이와 같아요.

언제부터 언제까지 붙잡을지도 정할 수 있어요. 그림은 흐릿한 덩어리에서 시작해 여러 단계를 거치며 또렷해지는데, 큰 배치는 앞 단계에서 정해지고 잔무늬는 뒤 단계에서 정해져요. 그래서 앞쪽 단계만 붙잡고 뒤쪽을 놓아 주면 구도는 지키면서 세부는 자유롭게 나와요.

무엇을 붙잡을지 고르는 일

같은 사진에서 뽑아도 어떤 밑그림을 쓰느냐에 따라 결과가 크게 갈려요. 경계선을 쓰면 원본의 외곽이 거의 그대로 남고, 뼈대 선만 쓰면 자세만 같고 나머지는 완전히 새로 나와요. 멀고 가까움만 쓰면 공간 배치만 남고 무엇을 놓을지는 주문 문장이 정해요.

그래서 "무엇을 지키고 무엇을 바꿀 것인가"를 먼저 정한 다음 밑그림 종류를 고르는 게 순서예요. 지킬 것을 너무 많이 넣으면 새로 만들 여지가 없어지고, 너무 적게 넣으면 붙잡은 보람이 없어져요.