소리 분류Sound Classification

칸을 먼저 정하고 시작해요

만드는 순서가 반대로 느껴질 만큼, 이름표 목록이 제일 먼저 정해져요. 박수·휘파람·기침 세 칸으로 만들기로 했다면 이 소리 분류기는 평생 세 칸짜리예요. 나중에 손뼉 대신 발소리를 알아보게 하고 싶으면 칸을 늘려서 처음부터 다시 가르쳐야 해요.

칸마다 예시 소리를 모으는 일이 곧 가르치는 일이에요. 박수 칸에는 박수 소리를 여러 사람, 여러 방, 여러 거리에서 녹음해 넣어요. 한 사람이 한 자리에서만 녹음한 소리로 가르치면 그 자리의 울림까지 박수의 특징으로 배워 버려요.

소리를 그림으로 펼쳐서 봐요

마이크가 받는 소리는 위아래로 흔들리는 하나의 선이에요. 이 선만 봐서는 박수와 문 닫는 소리를 가르기 어려워요. 그래서 소리 한 토막을 아주 짧은 조각으로 잘라, 조각마다 어느 높이의 소리가 얼마나 세게 들어 있는지를 재요.

이 값을 가로는 시간, 세로는 소리의 높낮이로 놓고 늘어놓으면 격자 그림 한 장이 나와요. 박수는 짧고 넓게 번지는 얼룩, 휘파람은 가로로 길게 이어지는 가는 줄로 보여요. 사람 눈에도 모양이 달라 보일 만큼 특징이 뚜렷해져요.

여기서부터는 사진을 다루는 방법과 거의 같아요. 소리 분류기가 실제로 하는 일은 이 격자 그림의 무늬를 알아보는 것이에요. 마이크 앞의 소리를 그림으로 바꿔 놓고 그림을 분류하는 셈이에요.

칸마다 점수를 나눠 가져요

분류기의 출력은 "박수"라는 한 단어가 아니에요. 칸마다 점수가 하나씩 나오고, 점수를 모두 더하면 1이 되도록 맞춰져 있어요. 박수 0.7, 휘파람 0.2, 기침 0.1 같은 식이에요. 화면에 보이는 답은 그중 가장 높은 칸의 이름일 뿐이에요.

점수가 나뉘는 모양이 답만큼 중요해요. 한 칸이 0.9를 가져가면 소리가 뚜렷했다는 뜻이고, 세 칸이 비슷하게 나눠 가지면 애매한 소리라는 신호예요. 그래서 실제 서비스에서는 가장 높은 점수가 일정 선을 넘을 때만 반응하게 만들어요.

없는 칸은 끝까지 안 생겨요

가장 자주 겪는 문제가 여기예요. 세 칸짜리 분류기 앞에서 종을 치면 종소리 칸이 없으니 세 칸 중 하나가 뽑히고, 점수까지 꽤 높게 나오기도 해요. 분류기는 "이 소리가 박수인가"를 묻는 게 아니라 "세 칸 중 어디에 가장 가까운가"만 묻기 때문이에요.

그래서 실제로 쓸 때는 아무것도 아님 칸을 하나 더 만들어요. 방의 조용한 소리, 지나가는 말소리, 의자 끄는 소리처럼 반응하지 않아야 할 소리들을 잔뜩 모아 이 칸에 넣어 두면 헛반응이 크게 줄어요.

환경이 바뀌면 같이 흔들려요

같은 박수라도 마이크가 바뀌고 방이 바뀌면 격자 그림의 무늬가 달라져요. 천장이 높은 방은 소리가 길게 끌리고, 노트북 마이크는 낮은 소리를 덜 담아요. 조용한 방에서 잘 맞던 분류기가 카페에서 엉뚱한 칸을 고르는 이유예요.

그래서 예시 소리를 모을 때 일부러 거리와 장소를 바꿔 가며 녹음해요. 배경 소음을 섞거나 소리를 조금 늘였다 줄인 사본을 만들어 함께 가르치기도 해요. 쓸 자리와 비슷한 소리를 미리 보여 주는 것이 가장 확실한 방법이에요.