STTSpeech-to-Text

소리에는 띄어쓰기가 없어요

글에는 낱말 사이에 빈칸이 있지만 말소리는 처음부터 끝까지 이어져 있어요. 파형을 아무리 들여다봐도 "여기가 낱말 끝" 하고 표시된 자리는 없어요. 사람이 말할 때 실제로 쉬는 자리는 뜻의 경계와 자주 어긋나기도 하고요.

그래서 받아쓰기는 소리를 글자로 바꾸는 일 앞에 어디까지가 한 덩어리인지 정하는 일을 함께 해요. 같은 소리 줄기라도 어떻게 끊느냐에 따라 전혀 다른 문장이 되니까요.

한국어는 여기에 겹쳐 붙는 조사와 어미까지 있어서, 소리만으로 경계를 잡기가 더 까다로워요. 결국 앞뒤 말을 함께 봐야 제대로 끊을 수 있어요.

소리를 잘게 잘라 펼쳐요

들어온 소리는 아주 짧은 토막으로 잘려요. 한 토막은 눈 깜빡임보다 훨씬 짧아서, 그 안에서는 소리가 거의 변하지 않는다고 봐도 될 정도예요.

토막마다 어떤 높이의 성분이 얼마나 들어 있는지를 재서 세로로 세우고, 그 줄을 시간 순으로 늘어놓으면 소리가 그림이 돼요. 이 그림이 스펙트로그램이에요. 사람 목소리는 이 그림 위에서 발음마다 제법 다른 무늬를 만들어서, 무늬를 보고 어떤 소리인지 가늠할 수 있어요.

받아쓰기는 이 그림 위에서 이뤄져요. 토막마다 어떤 자모나 글자 조각일 가능성이 높은지 점수를 매기고, 그 점수를 시간 순으로 이어 붙여 낱말과 문장을 만들어 가요.

말이 되는 쪽으로 골라요

소리만으로는 갈리지 않는 말이 많아요. 낫다와 낮다, 시키다와 식히다처럼 발음이 거의 같은 말들이에요. 이럴 때는 소리 점수만 보지 않고 앞뒤에 놓았을 때 말이 되는 쪽을 함께 따져요.

그래서 같은 발음이 앞 문장에 따라 다른 글자로 적히기도 해요. 반대로 문맥이 아예 없는 짧은 한마디는 자주 틀려요. 낯선 사람 이름이나 가게 이름, 잘 쓰지 않는 전문 용어도 그래요. 서비스에 따라 미리 쓸 만한 낱말 목록을 넣어 정확도를 올리기도 해요.

여기서 나오는 답은 하나가 아니라 후보 여러 개예요. 그중 가장 그럴듯한 것을 골라 보여 주고, 얼마나 확신하는지를 함께 내주는 곳도 많아요.

환경이 성적을 좌우해요

패널에 그늘이 지면 발전량이 떨어지듯, 받아쓰기도 소리가 들어오는 조건에 크게 흔들려요. 카페의 웅성거림, 에어컨 소리, 벽이 많은 방의 울림이 대표적이에요. 마이크가 멀어지면 목소리는 작아지는데 잡음은 그대로라 더 나빠져요.

여럿이 동시에 말하는 자리도 어려워요. 겹친 소리는 그림 위에서도 겹쳐 있어서, 한 사람 몫만 골라내려면 별도의 처리가 필요해요. 회의록 서비스가 화자를 나누는 기능을 따로 두는 이유예요.

말투도 영향을 줘요. 학습에 많이 쓰인 말투는 잘 받아쓰고, 사투리나 어린이 목소리, 말이 아주 빠른 사람은 상대적으로 자주 틀려요.

실시간과 나중 처리가 달라요

화면에 자막이 바로 뜨는 방식은 소리가 들어오는 대로 앞부분부터 처리해요. 뒤에 무슨 말이 올지 모른 채 판단해야 해서, 방금 띄운 글자가 잠시 뒤 슬쩍 바뀌기도 해요.

녹음이 끝난 파일을 나중에 처리하면 뒤쪽 문맥까지 다 보고 고칠 수 있어서 더 정확해요. 대신 결과를 받기까지 기다려야 해요. 기기 안에서 처리하면 소리가 밖으로 나가지 않아 안심되고, 서버로 보내면 더 무거운 처리를 쓸 수 있어요. 어느 쪽을 고를지는 정확도와 속도, 개인 정보 중 무엇을 앞에 둘지에 달려 있어요.