딥페이크Deepfake

1흉내에는 대표적인 갈래가 셋 있어요

딥페이크라고 하면 얼굴 바꾸기부터 떠올리지만 대표적인 갈래는 셋이에요. 첫째는 얼굴 교체예요. 영상 속 인물의 얼굴만 다른 사람 얼굴로 갈아 끼워요. 둘째는 입 모양 맞추기예요. 얼굴은 그대로 두고 입술과 턱만 새 대사에 맞춰 다시 그려요. 외국어 더빙에 쓰는 기술이 여기 속해요. 셋째는 음성 복제예요. 몇 초짜리 녹음만 있으면 말투와 숨소리까지 옮긴 목소리를 만들어요. 이 밖에 표정과 고개 움직임만 다른 사람 얼굴에 옮겨 입히는 방식이나, 세상에 없는 사람의 얼굴을 통째로 만드는 방식도 있어요.

요즘 피해가 큰 쪽은 셋을 섞은 형태예요. 화상 회의 화면에 얼굴을 씌우고 그 위에 목소리를 입히면, 받는 사람 입장에서는 아는 사람과 통화하는 것과 구분되지 않아요.

2흉내를 익히는 방식

성대모사 달인이 연습하듯 AI도 재료를 모으는 데서 시작해요. 얼굴이면 여러 각도의 사진과 영상, 목소리면 짧은 녹음이면 충분해요.

다음은 특징을 뽑는 단계예요. 초기 방식은 얼굴을 잘게 압축했다가 원래대로 되살리는 연습을 시켜서, 눈과 코와 입의 위치, 표정만 남은 요약본을 얻었어요. 여기에 가짜를 만드는 쪽과 잡아내는 쪽이 서로 겨루며 실력을 올리는 GAN (Generative Adversarial Network, 생성적 적대 신경망) 방식이 더해지면서 결과가 훨씬 그럴듯해졌어요.

이미지와 영상을 통째로 만드는 쪽에서 지금 화질을 끌어올린 건 잡음투성이 화면에서 그림을 조금씩 되살리는 디퓨전 방식이에요. 흐릿한 데서 시작해 여러 번 다듬기 때문에, 머리카락 끝이나 그림자처럼 예전에 무너지던 부분이 자연스러워졌어요.

3왜 눈으로는 못 잡을까요

예전에는 요령이 있었어요. 눈을 잘 안 깜빡인다, 손가락 개수가 이상하다, 목과 얼굴의 피부색이 다르다 같은 단서요. 이 단서들은 오래가지 못했어요. 판별 요령이 알려지면 그 약점을 메우는 쪽으로 다음 모델이 학습되거든요.

게다가 우리가 실제로 마주치는 건 화질 좋은 원본이 아니에요. 단톡방을 몇 번 거치며 뭉개진 영상, 통화 품질로 눌린 목소리예요. 어색한 부분이 압축에 묻혀 버려서 더 어려워져요. 놀랍고 화나는 내용일수록 확인하기 전에 퍼진다는 점도 겹쳐요.

4가짜를 찾기보다 출처를 밝혀요

그래서 대응이 방향을 틀었어요. 눈으로 가짜를 찾는 대신 진짜에는 출처를, 생성물에는 표시를 남기는 쪽이에요.

첫째는 콘텐츠 출처 표시예요. 촬영 기기와 편집 이력, AI로 만들었다는 기록을 파일에 서명해 붙여 두고, 나중에 그 서명이 깨졌는지 확인해요. 둘째는 워터마크예요. AI로 만든 이미지와 음성에 사람 눈과 귀에는 잡히지 않는 표식을 심어 둬요. 셋째는 탐지 모델이에요. 서명도 표식도 없는 것은 사람이 못 보는 미세한 흔적을 기계가 찾아 걸러요.

셋 다 완벽하지는 않아요. 서명은 화면을 다시 찍으면 떨어져 나가고, 워터마크는 일부러 지우려는 강한 편집에 깨질 수 있고, 표식을 넣지 않는 생성기에는 소용이 없고, 탐지 모델은 새로운 생성 방식 앞에서 정확도가 떨어져요. 그래서 하나만 믿지 않고 겹쳐 쓰는 게 기본이에요.

5무대와 범죄를 가르는 선

기술 자체에는 죄가 없어요. 세상을 떠난 배우를 영화에 되살리고, 병으로 목소리를 잃은 사람에게 예전 목소리를 돌려주고, 강의를 여러 언어로 더빙하는 데 쓰여요. 이런 쓰임에는 공통점이 있어요. 당사자나 유족의 동의가 있고, 만든 영상이라는 표시가 붙어 있어요.

선을 넘는 건 동의가 빠질 때예요. 성적 합성물을 만들거나 퍼뜨리는 일, 가족이나 상사 목소리를 흉내 낸 송금 요구, 선거철 가짜 발언 영상이 그렇고 많은 나라에서 처벌 대상이에요. 개인이 할 일은 단순해요. 돈이나 개인정보를 재촉하는 연락은 그 통화나 메시지 안에서 확인하지 말고, 끊고 나서 원래 알던 번호로 다시 걸어 보세요. 가족끼리 짧은 확인 암호를 정해 두면 더 빠르고, 공개 계정에 올리는 얼굴 사진과 목소리를 줄이는 것도 재료를 줄이는 방법이에요.