립싱크Lip Sync

글자가 아니라 소리의 결을 봐요

대본을 읽어서 입 모양을 만드는 방식은 잘 쓰지 않아요. 같은 문장도 사람마다 빠르기가 다르고, 중간에 늘어지거나 숨을 쉬거나 웃음이 섞이니까요. 글자만 보고 만든 입은 실제 소리와 계속 어긋나요.

그래서 소리 자체를 재료로 써요. 목소리를 짧은 조각으로 잘라 어느 높이의 소리가 얼마나 세게 들어 있는지를 뽑아내면, 입이 크게 벌어지는 순간과 다물리는 순간이 그 안에 이미 담겨 있어요. 조용한 구간에서는 입이 닫히고, 소리가 터지는 구간에서는 열려요.

말이 없는 구간도 중요해요. 숨을 들이켜는 소리나 잠깐의 멈춤에서 입이 어떻게 움직이는지가 자연스러움을 크게 좌우해요. 소리가 없다고 입까지 완전히 굳으면 인형처럼 보여요.

입 모양은 앞뒤 소리에 끌려요

소리 하나에 입 모양 하나를 정해 두고 순서대로 갈아 끼우면 딱딱하고 이상해져요. 사람 입은 다음에 낼 소리를 미리 준비하기 때문이에요. 뒤에 둥근 소리가 오면 앞 소리를 낼 때부터 입이 조금 둥글어져 있어요.

그래서 지금 순간의 소리만 보지 않고 앞뒤 몇 순간을 함께 보고 모양을 정해요. 이 때문에 실시간으로 만들 때는 소리를 조금 앞질러 받아 두어야 하고, 그만큼의 짧은 지연이 생겨요. 미리 녹음된 소리를 다룰 때는 전체를 보고 만들 수 있으니 이 문제가 없어요.

같은 이유로 말이 빨라지면 입이 끝까지 벌어지지 못하고 다음 모양으로 넘어가요. 이 뭉개짐까지 흉내 내야 사람이 말하는 것처럼 보여요.

입만 갈아 끼우는 방식

얼굴 전체를 새로 만들면 눈빛이나 머리 움직임이 어색해지기 쉬워요. 그래서 원래 영상은 그대로 두고 입과 턱 주변 영역만 새로 그려 넣는 방식을 많이 써요. 원본의 조명과 피부 결이 남아 있으니 훨씬 자연스러워요.

이때 바꾼 부분과 남겨 둔 부분의 경계를 매끄럽게 잇는 일이 까다로워요. 경계에 색 차이가 남으면 입 주변에 얼룩처럼 테두리가 보여요. 고개가 크게 돌아가거나 손으로 입을 가리는 구간에서 특히 잘 티가 나요.

어긋남은 눈이 먼저 알아채요

소리와 그림이 얼마나 어긋나도 되는지는 생각보다 훨씬 좁아요. 사람은 소리가 그림보다 늦게 오는 것에는 비교적 너그러워요. 멀리서 나는 소리는 원래 늦게 도착하니까요. 반대로 소리가 그림보다 먼저 오면 훨씬 빨리 이상하다고 느껴요.

그래서 립싱크를 손볼 때는 그림을 소리보다 아주 조금 앞세우는 쪽이 안전해요. 전체가 일정하게 밀린 어긋남보다, 구간마다 들쭉날쭉 밀리는 쪽이 훨씬 거슬린다는 점도 알려져 있어요.

다른 목소리, 다른 언어로

립싱크가 크게 쓰이는 자리가 더빙이에요. 다른 언어로 새로 녹음한 소리에 맞춰 입 모양을 다시 만들면, 자막 없이도 원래 그 언어로 말한 것처럼 보여요. 강의나 안내 영상을 여러 나라 말로 내놓을 때 쓰여요.

애니메이션 캐릭터에 목소리를 입힐 때도 같은 기술을 써요. 손으로 한 컷씩 입을 그리던 일을 소리에서 바로 만들어 내니 작업이 크게 줄어요.

다만 실제 사람의 얼굴에 하지 않은 말을 얹을 수 있다는 뜻이기도 해요. 목소리를 흉내 내는 기술과 합치면 한 적 없는 말을 한 것처럼 보이는 영상이 만들어져요. 그래서 만든 영상임을 표시하고 동의를 받는 절차가 함께 다뤄져요.