자연어 처리NLP

사람 말이 왜 어려운가

컴퓨터가 잘 다루는 말은 규칙이 빈틈없는 말이에요. 기호 하나가 뜻 하나에 딱 붙어 있고 순서도 정해져 있죠. 사람이 쓰는 말은 정반대예요. 같은 낱말이 자리에 따라 다른 뜻이 되고, 뻔한 부분은 통째로 생략되고, 말하는 사람과 듣는 사람이 아는 사정에 기대어 뜻이 채워져요.

"배가 아파요"라는 문장 하나만 봐도 그래요. 사람은 앞뒤 상황으로 어느 배인지 곧바로 정하지만, 문장만 놓고 보면 정할 근거가 없어요. 이렇게 갈라지는 자리가 사람 말에는 문장마다 몇 개씩 숨어 있어요. 자연어 처리는 이 갈림길을 앞뒤 맥락으로 좁혀 나가는 일이에요.

부스 안에서 벌어지는 단계

전통적으로는 일을 여러 단계로 나눠요. 먼저 문장을 다룰 수 있는 단위로 끊어요. 그다음 각 단위가 명사인지 동사인지, 어떤 어미가 붙었는지를 붙여요. 그리고 어느 낱말이 어느 낱말을 꾸미는지 관계를 이어요. 마지막으로 그 결과를 가지고 번역이든 분류든 목적에 맞는 일을 해요.

각 단계는 앞 단계의 결과 위에 서요. 끊는 자리를 잘못 잡으면 뒤가 전부 어긋나요. 요즘은 이 단계들을 하나의 큰 모델이 한꺼번에 처리하는 경우가 많지만, 안에서 벌어지는 일의 성격은 크게 다르지 않아요.

규칙표에서 예시 더미로

초기에는 사람이 문법 규칙을 손으로 적어 넣었어요. 문제는 사람 말이 규칙대로 굴러가지 않는다는 점이었어요. 예외를 막으려고 규칙을 하나 더하면 다른 자리가 무너지는 일이 반복됐어요.

그다음 등장한 방식은 규칙 대신 통계였어요. 실제로 쓰인 글을 잔뜩 모아 어떤 말 뒤에 어떤 말이 얼마나 자주 왔는지를 세었어요. 문법에 맞는지가 아니라 사람들이 실제로 그렇게 쓰는지를 기준으로 삼은 거예요.

지금은 여기서 더 나아가, 엄청난 양의 글을 읽으며 낱말 사이의 관계를 스스로 잡아 놓은 모델이 여러 일을 한 번에 맡아요. 부스를 일마다 따로 짓는 대신, 넓은 부스 하나를 짓고 그때그때 다른 주문을 받는 형태로 바뀌었어요.

지금 어디에 쓰이나

검색창에 문장을 넣었을 때 뜻이 비슷한 문서를 찾아 주는 일, 긴 문서를 몇 줄로 줄여 주는 일, 리뷰가 칭찬인지 불평인지 자동으로 가르는 일이 모두 자연어 처리예요. 고객 문의를 종류별로 나눠 담당자에게 넘기는 일도, 맞춤법을 고쳐 주는 일도 여기에 들어가요.

음성 비서처럼 말소리를 다루는 기능에서도 소리를 글자로 바꾼 다음부터는 이 갈래가 이어받아요. 무엇을 부탁받았는지 알아내고 필요한 기능으로 연결하는 부분이 부스가 맡는 자리예요.

한국어라서 더 까다로운 점

한국어는 낱말 뒤에 조사와 어미가 계속 붙어요. 같은 뿌리에서 나온 형태가 수십 가지라 낱말을 세는 일부터 간단하지 않아요. 그래서 한국어를 다룰 때는 낱말을 더 작은 단위로 쪼개는 작업이 특히 중요해요.

주어를 생략하는 습관도 어려움을 더해요. "어제 갔어요"라는 문장에는 누가 갔는지가 없어요. 사람은 대화 흐름에서 채우지만 부스는 그 정보를 어디선가 끌어와야 해요. 높임말과 반말이 상황에 따라 오가는 점, 띄어쓰기가 흔들리는 점도 함께 다뤄야 하는 몫이에요.