스펙트로그램Spectrogram

파형만 봐서는 알기 어려워요

녹음 파일을 열면 나오는 물결 모양은 공기가 얼마나 세게 떨렸는지를 시간 순으로 그린 것이에요. 소리가 큰지 작은지, 언제 시작하고 끊기는지는 여기서 바로 보여요.

그런데 정작 궁금한 것은 잘 안 보여요. 낮은 웅웅거림인지 높은 쇳소리인지, 사람 목소리인지 문 닫히는 소리인지는 물결의 촘촘함에 섞여 들어가 있어요. 여러 소리가 겹치면 그 물결이 한 줄로 합쳐져 버려서 더 알기 어렵고요.

그래서 소리를 다루는 일은 대부분 파형을 그대로 보지 않고, 높낮이별로 갈라 놓은 그림으로 옮긴 뒤에 시작해요.

짧은 토막마다 한 장씩

소리를 통째로 놓고 높낮이를 재면 곡 전체에 어떤 음이 들었는지만 나오고 언제 들었는지는 사라져요. 그래서 아주 짧은 토막으로 잘라서 재요. 한 토막은 대략 눈 깜빡임의 몇십 분의 일 정도로 짧아서, 그 안에서는 소리가 거의 변하지 않는다고 봐요.

토막마다 낮은 칸부터 높은 칸까지 성분의 세기를 재면 세로 한 줄이 나와요. 토막을 조금씩 옆으로 밀며 같은 일을 되풀이하고, 나온 줄을 시간 순으로 붙이면 그림이 완성돼요. 토막을 겹쳐 가며 밀기 때문에 이음매가 툭툭 끊기지 않아요.

칸의 눈금은 보통 사람 귀에 맞춰 조정해요. 사람은 낮은 쪽의 작은 차이는 잘 듣고 높은 쪽의 같은 차이는 잘 못 들어서, 낮은 쪽을 촘촘하게 높은 쪽을 성기게 나눠요.

그림 읽는 법

가로는 시간, 세로는 높낮이, 진하기는 세기예요. 목소리는 이 그림에서 가로로 나란한 줄무늬로 나타나요. 가장 아래 줄이 목청이 떨리는 기본 높이이고, 그 위에 규칙적인 간격으로 줄이 겹겹이 쌓여요. 노래에서 음을 올리면 이 줄무늬 전체가 위로 밀려 올라가요.

받침이나 스, 츠 같은 소리는 줄무늬 없이 위쪽이 넓게 흐려진 얼룩으로 보여요. 박수나 문 닫는 소리는 세로로 그은 선처럼 짧고 넓게 퍼져요. 조용한 구간은 그냥 빈칸이고요. 같은 낱말을 말해도 사람마다 줄무늬 간격과 얼룩의 모양이 달라서, 이 무늬가 목소리의 지문 노릇을 해요.

촘촘함을 고르면 무언가를 잃어요

토막을 짧게 자를수록 언제 무슨 일이 있었는지 또렷해져요. 대신 한 토막 안에 담긴 물결이 적어져서 높낮이 칸이 뭉뚱그려져요. 반대로 길게 자르면 높낮이는 곱게 갈리지만, 그 안에서 소리가 바뀐 순간이 뭉개져요.

둘을 동시에 또렷하게 만들 수는 없어요. 무엇을 볼지에 따라 고르는 수밖에 없어요. 말소리를 받아쓸 때는 소리가 빠르게 바뀌니 짧게 자르고, 음악의 화음을 살필 때는 조금 길게 잘라요.

이 그림 위에서 일이 벌어져요

스펙트로그램으로 옮겨 놓으면 소리 문제가 그림 문제로 바뀌어요. 그림에서 무늬를 알아보는 방법은 이미 많이 쌓여 있으니, 그것을 그대로 가져다 쓸 수 있어요.

받아쓰기는 이 그림에서 발음마다의 무늬를 읽어 글자로 옮기는 일이고, 음정 검출은 줄무늬 가운데 기준이 되는 줄 하나를 짚어 내는 일이에요. 음원 분리는 겹쳐 있는 무늬를 악기별로 갈라내는 일이고, 소리를 만들어 내는 쪽은 반대로 이 그림을 먼저 그린 다음 파형으로 바꿔요.