GANGenerative Adversarial Network

두 기계가 번갈아 겨뤄요

한쪽은 아무 뜻 없는 숫자 뭉치를 받아 결과물을 만들어요. 매번 다른 숫자가 들어오니 매번 다른 결과가 나와요. 다른 쪽은 진짜 자료와 만들어진 결과물을 섞어서 받고 어느 쪽인지 판정해요.

학습은 두 쪽을 번갈아 진행해요. 먼저 가려내는 쪽에 진짜와 가짜를 보여 주며 잘 구별하도록 손봐요. 그다음 만드는 쪽을 손보는데, 이때는 가려내는 쪽을 속이는 방향으로 고쳐요. 한 번씩 주고받고 나면 두 쪽 모두 조금씩 나아져 있어요.

겨루기가 계속되는 이유는 문제가 자동으로 어려워지기 때문이에요. 만드는 쪽이 좋아지면 가려내는 쪽의 판정이 힘들어지고, 가려내는 쪽이 예리해지면 만드는 쪽이 통과하기 어려워져요. 상대가 곧 다음 단계의 시험 문제가 돼요.

점수표는 상대의 실수에서 나와요

이 방식이 눈길을 끈 이유는 정답을 사람이 붙여 주지 않아도 된다는 점이에요. 그림을 만드는 일에는 원래 채점표가 없어요. 잘 그렸는지 숫자로 매길 방법이 마땅치 않죠. GAN은 그 채점을 다른 기계에게 맡겨 버려요.

가려내는 쪽이 "이건 만들어진 것 같다"고 판정하면 만드는 쪽은 어디가 걸렸는지 신호를 받아 그 부분을 고쳐요. 반대로 속아 넘어가면 그 방향이 옳았다는 신호가 돼요. 채점표가 학습 도중에 계속 새로 쓰이는 셈이에요.

덕분에 결과물이 선명해져요. 평균을 맞히는 방식으로 배운 모델은 흐릿한 결과를 내놓기 쉬운데, 여기서는 흐릿한 결과가 곧바로 들통나서 통과하지 못해요.

균형이 깨지면 배움이 멈춰요

문제는 두 기계의 힘이 비슷해야 겨루기가 성립한다는 점이에요. 가려내는 쪽이 지나치게 세지면 무엇을 내밀어도 가짜 판정이 나와요. 만드는 쪽은 어느 방향으로 고쳐야 할지 알 수 없게 되고 배움이 멈춰요.

반대 상황도 곤란해요. 만드는 쪽이 잘 통하는 결과 하나를 발견하면 그것만 계속 찍어 내요. 매번 다른 숫자를 넣어 줘도 나오는 것은 비슷비슷해져요. 붕어빵 틀 하나가 잘 통했다고 그 무늬만 반복해 깎는 상황이에요. 이 현상을 모드 붕괴라고 불러요.

그래서 학습이 순탄하지 않아요. 두 쪽의 속도를 맞추고 한쪽이 앞서 나가지 않도록 조절하는 손질이 많이 들어가요. 같은 설정으로 다시 돌려도 결과가 크게 달라지기도 해요.

다 배우면 가려내는 쪽은 내려놓아요

학습이 끝나면 실제로 쓰는 것은 만드는 쪽 하나예요. 가려내는 기계는 훈련용 채점자였을 뿐이라 완성된 뒤에는 필요하지 않아요. 서비스에 올라가는 것도 만드는 쪽뿐이에요.

만드는 쪽은 숫자 뭉치를 받아 결과를 내놓기 때문에 한 번의 계산으로 결과가 나와요. 여러 단계를 밟는 방식보다 훨씬 빨라서, 실시간으로 화면을 만들어야 하는 자리에서는 지금도 이 방식이 쓰여요.

지금은 어디에 쓰이나요

한동안 그림 생성의 중심이었지만, 지금 그 자리는 얼룩을 걷어 내며 만드는 방식으로 많이 넘어갔어요. 학습이 안정적이고 다양한 결과를 내기 쉬운 데다 글로 방향을 잡아 주기도 편하기 때문이에요.

대신 GAN은 빠르고 가벼운 자리에서 살아남았어요. 저해상도 사진을 크게 키우는 일, 목소리 파형을 소리로 바꾸는 일, 화면을 실시간으로 바꾸는 일처럼 한 번에 끝내야 하는 작업에 어울려요. 겨루게 해서 배우게 한다는 발상 자체도 다른 분야로 널리 퍼졌어요.