소형 언어 모델Small Language Model

작다는 건 안에 든 값이 적다는 뜻이에요

언어 모델 안에는 학습으로 정해진 숫자들이 빽빽하게 들어 있어요. 이 숫자의 개수가 모델의 크기예요. 큰 모델은 이 숫자가 수천억 개, 작은 모델은 수억에서 수십억 개 수준이에요.

숫자가 적으면 파일이 작아지고, 기기에 올릴 때 차지하는 자리도 줄어요. 계산해야 할 양도 함께 줄어드니 답이 빨리 나와요. 큰 모델을 그대로 눌러 담는 게 아니라, 처음부터 작은 틀로 학습하거나 큰 모델이 내놓은 답을 교재 삼아 작은 모델을 가르치는 방법을 써요.

몇 개부터 작다고 부를지는 정해져 있지 않아요. 몇 해 전 큰 모델 축에 들던 크기가 지금은 작은 쪽으로 분류돼요. 같은 크기라도 학습 방법이 좋아지면서 해마다 더 잘하게 됐거든요.

가벼워서 얻는 것

첫째는 속도예요. 계산량이 적으니 첫 글자가 훨씬 빨리 나오고, 서버까지 오갈 필요가 없으니 그 시간도 사라져요.

둘째는 자리를 가리지 않는다는 점이에요. 인터넷이 끊긴 곳에서도, 비행기 안에서도, 사무실 안쪽 망에서도 돌아가요.

셋째가 실제로는 가장 큰 이유일 때가 많아요. 입력한 내용이 기기 밖으로 나가지 않는다는 점이에요. 의료 기록이나 사내 문서처럼 밖으로 보내기 곤란한 자료를 다룰 때, 작은 모델이 유일한 선택지가 되기도 해요.

넷째는 값이에요. 사용자 한 명당 드는 계산이 적으니, 같은 장비로 훨씬 많은 요청을 받을 수 있어요.

배낭에 없는 물건은 꺼낼 수 없어요

작은 모델은 세상 지식을 조금밖에 담지 못해요. 자주 나오는 상식은 챙겨 두지만 드문 사실, 좁은 분야의 전문 내용, 사용자가 적은 언어에서는 금세 흔들려요. 그리고 모르면 모른다고 하기보다 그럴듯한 문장으로 채워 넣는 버릇은 작은 모델에서 더 자주 나타나요.

여러 단계를 이어 가야 하는 문제도 약해요. 조건이 서너 개 겹치는 계산이나, 앞에서 정한 규칙을 뒤에서도 지켜야 하는 긴 글에서 중간에 길을 잃어요. 대화가 길어질수록 앞의 내용을 놓치는 일도 잦아요.

지식이 부족한 문제는 자료를 함께 넣어 주는 방식으로 상당 부분 메울 수 있어요. 필요한 문서를 찾아 질문과 같이 건네면, 작은 모델도 그 안에서 답을 잘 찾아요. 배낭에 없는 물건을 길목마다 놓아 주는 셈이에요.

길을 정하면 작은 배낭으로 충분해요

무엇이든 물어보는 창구로 쓰면 작은 모델은 아쉬워요. 그런데 실제 서비스가 시키는 일은 그렇게 넓지 않은 경우가 많아요. 문의 글을 종류별로 나누기, 회의록에서 할 일만 뽑기, 정해진 형식으로 문장 바꾸기 같은 일이에요.

이런 일은 그 용도의 예시를 모아 모델을 조금 더 가르치면 정확도가 크게 올라요. 좁은 일 하나에서는 훨씬 큰 모델과 견줘도 차이가 잘 드러나지 않아요. 크기를 줄인 만큼 남는 비용으로 여러 번 검사하게 만들 수도 있어요.

요즘은 두 가지를 섞어 쓰기도 해요. 쉬운 요청은 기기 안의 작은 모델이 곧바로 처리하고, 손에 부치는 요청만 큰 모델로 넘기는 식이에요.