음성 인식Speech Recognition

소리를 아주 짧게 잘라요

마이크가 받아들이는 것은 공기의 떨림이에요. 이 떨림은 숫자 줄로 바뀌어 컴퓨터에 들어와요. 그런데 이 줄을 통째로 놓고 "무슨 말인가" 물으면 답이 나오지 않아요. 말은 시간에 따라 계속 변하는 소리라서요.

그래서 먼저 잘라요. 1초를 백 조각쯤으로 나누고, 조각마다 어떤 높이의 소리가 얼마나 섞여 있는지를 뽑아내요. 이렇게 만든 소리 그림을 놓고 보면 "아" 소리와 "스" 소리는 눈에 띄게 다른 무늬로 나타나요.

조각을 잘게 나누는 데는 이유가 있어요. 말소리는 앞뒤 소리에 따라 모양이 달라지거든요. 같은 "ㄱ"이라도 뒤에 무엇이 오느냐에 따라 다르게 발음돼요. 짧게 잘라 두면 이런 변화를 놓치지 않고 따라갈 수 있어요.

조각마다 점수를 매겨요

잘라 놓은 조각 하나하나에 대해 모델은 확정된 답을 내지 않아요. 대신 "이 조각은 이 소리일 가능성이 크고, 저 소리일 가능성도 조금 있다"라는 식으로 후보마다 점수를 남겨요.

점수를 남겨 두는 편이 훨씬 유리해요. 조각 하나만 보고 성급하게 정해 버리면, 뒤에 이어지는 소리와 아귀가 맞지 않아도 되돌릴 수가 없어요. 후보를 여러 갈래로 열어 두었다가 문장 전체를 놓고 가장 그럴듯한 길을 고르는 편이 훨씬 잘 맞아요.

앞뒤 흐름이 답을 골라요

소리 점수만으로는 갈리지 않는 말이 아주 많아요. "감기"와 "강기"는 소리가 비슷하고, "이 사과 맛있다"와 "먼저 사과부터 해"의 사과는 소리가 아예 같아요.

그래서 음성 인식에는 말의 흐름을 아는 부분이 함께 들어가요. 앞에 "과일 가게에서"라는 말이 나왔다면 사과는 먹는 쪽이고, "네가 먼저"가 나왔다면 미안하다는 쪽이에요. 사람이 시끄러운 자리에서도 대화를 따라가는 것과 같은 이치예요.

이 부분이 있어서 음성 인식은 소리가 조금 뭉개져도 문장을 복구해 내요. 반대로 흐름이 없는 말, 그러니까 처음 듣는 사람 이름이나 무작위 숫자 조합에서는 도와줄 흐름이 없으니 오류가 눈에 띄게 늘어요.

요즘은 통째로 배워요

예전에는 부품을 따로 만들어 붙였어요. 소리를 판별하는 부분, 낱말의 발음을 적어 둔 사전, 문장 흐름을 아는 부분을 각각 만든 뒤 이어 붙였죠. 부품마다 사람이 손을 봐야 해서 새 언어를 추가하는 일이 큰 공사였어요.

지금은 녹음과 그 녹음을 받아 적은 글을 짝지어 아주 많이 보여 주고, 한 덩어리 모델이 소리에서 글자까지를 통째로 배우게 해요. 발음 사전을 사람이 만들지 않아도 되고, 여러 나라 말과 잡음 섞인 녹음을 한 모델이 함께 다룰 수 있게 됐어요.

말이 끝나기 전에 글자가 떠요

화면에 글자가 실시간으로 찍히는 방식은 아직 들리지 않은 뒷말을 모르는 채로 답을 내놓는 거예요. 그래서 뒤 문장이 들어오면 앞에 찍힌 글자가 슬쩍 바뀌는 일이 생겨요. 잘못된 게 아니라 흐름을 보고 답을 고쳐 잡는 중이에요.

띄어쓰기와 문장 부호는 소리에 들어 있지 않아요. 말끝이 올라가는지, 어디서 숨을 쉬는지 같은 단서를 보고 따로 붙이는 거예요. 받아 적은 글에서 쉼표와 마침표가 어색한 경우가 많은 이유예요.