노이즈 제거Denoising

튀는 것을 찾아 주변에 맞춰 놓아요

사진 한 장을 크게 확대하면 하늘처럼 고른 면에 유독 밝거나 어두운 점이 흩어져 있어요. 옆의 점들과 비교했을 때 혼자만 동떨어진 값이라 주변과 어긋난 정도로 잡티라는 것을 알아챌 수 있어요.

간단한 방법은 주변 몇 개의 값을 섞어 평균에 가깝게 밀어 넣는 거예요. 이렇게 하면 흩어진 점은 눈에 띄게 줄어요. 문제는 눈썹이나 실밥처럼 원래부터 주변과 다른 부분까지 같이 뭉개진다는 점이에요.

그래서 요즘 방식은 잡티인지 무늬인지를 모양을 보고 구별해요. 수많은 깨끗한 사진과 잡티를 얹은 사진을 짝지어 보여 주며 훈련하면, 경계선은 남기고 흩어진 점만 덜어 내는 요령이 생겨요.

짚어 낸 다음 덜어 내요

훈련된 모델은 곧바로 깨끗한 사진을 내놓지 않아요. 먼저 지금 화면에서 잡티로 보이는 부분이 어디이고 얼마나 되는지를 짚어요. 그다음 그만큼을 원래 화면에서 빼요. 얼룩이 어떤 종류인지 먼저 보고 그에 맞춰 농도를 정하는 순서와 같아요.

이 순서에는 장점이 있어요. 깨끗한 결과를 한 번에 그려 내려면 사진 전체를 다시 만들어야 하지만, 얹힌 것만 짚는 일은 훨씬 다루기 쉬워요. 원래 내용은 그대로 두고 얹힌 부분만 건드리니까 얼굴이 다른 사람으로 바뀌는 식의 사고도 줄어요.

얼마나 지울지가 늘 저울질이에요

지우는 강도는 사람이 정할 수 있어요. 약하게 두면 잡티가 남고, 강하게 두면 화면이 매끈해지는 대신 머리카락이나 옷감의 결처럼 가는 무늬가 함께 사라져요. 잡티를 완전히 없애면서 세부도 온전히 지키는 설정은 없어요.

강하게 지운 사진은 언뜻 깔끔해 보여도 어딘가 밀랍처럼 보여요. 피부나 잔디처럼 원래 자잘한 결이 있어야 할 곳이 미끈해지기 때문이에요. 이 자국은 나중에 확대하거나 인쇄할 때 특히 눈에 띄어요.

잡티의 성질을 알수록 잘 지워요

잡티에도 종류가 있어요. 어두운 곳에서 찍은 사진의 오돌토돌한 알갱이, 오래된 녹음에 깔린 지지직 소리, 통신이 끊길 때 생기는 줄무늬는 생김새가 저마다 달라요. 어떤 잡티가 섞였는지 알고 들어가면 훨씬 정확하게 덜어 낼 수 있어요.

그림 생성에서 이 점이 유용하게 쓰여요. 학습할 때 얼룩을 직접 얹었으니 얼마나 얹혔는지를 숫자로 알려 줄 수 있어요. 모델은 그 정보를 함께 받아 이번 단계에서 덜어 낼 양을 가늠해요. 종이에 무엇이 얼마나 앉았는지 미리 듣고 손잡이를 잡는 셈이에요.

반복하면 없던 그림도 나와요

한 번 덜어 내면 사진이 조금 깨끗해져요. 그 결과를 다시 넣어 또 덜어 내고, 이 일을 수십 번 반복하면 어떻게 될까요. 시작이 사진이라면 점점 매끈한 사진이 되지만, 시작이 아무 뜻 없는 얼룩 화면이라면 없던 형태가 서서히 자리를 잡아요.

덜어 낼 때마다 모델은 "여기에 그럴듯한 그림이 있다면 이런 모습일 것"이라는 방향으로 화면을 조금씩 밀어요. 반복이 쌓이면서 아무것도 아니던 화면이 한 장의 그림이 돼요. 잡티를 지우는 기술과 그림을 만드는 기술이 결국 같은 뿌리인 이유예요.