모델Model

모델은 만들어진 것이지 짜인 것이 아니에요

보통 소프트웨어는 사람이 한 줄씩 적어서 만들어요. 어떤 줄이 무슨 일을 하는지 적은 사람이 알아요. 모델은 그렇게 만들어지지 않아요. 사람이 정하는 것은 층을 몇 겹 쌓을지 같은 큰 뼈대뿐이고, 안을 채우는 숫자들은 학습이 알아서 정해요.

그래서 모델 파일을 열어 봐도 사람이 읽을 수 있는 규칙은 나오지 않아요. 끝없이 이어지는 숫자만 보여요. 이 숫자 하나하나가 파라미터고, 요즘 큰 모델에는 수십억 개가 들어 있어요.

도안과 다른 점이 여기예요. 뜨개질 도안은 사람이 읽을 수 있게 적혀 있지만, 모델의 도안은 사람이 읽지 못하는 숫자로 적혀 있어요. 그래도 하는 일은 같아요. 어떤 입력이 오면 어떤 출력을 낼지가 그 숫자 안에 담겨 있어요.

만드는 시간과 쓰는 시간이 달라요

모델의 일생은 두 토막으로 나뉘어요. 앞 토막이 학습이에요. 예시를 보면서 안의 숫자들을 조금씩 옮기는 시간이고, 큰 모델은 여기에 몇 달과 큰 비용이 들어요.

뒤 토막이 추론이에요. 완성된 숫자들을 그대로 두고 새 입력을 통과시켜 답을 받는 시간이에요. 이쪽은 한 번에 몇 밀리초에서 몇 초면 끝나요. 도안을 만드는 데 몇 주가 걸려도 그 도안을 보고 뜨는 일은 저녁 한나절이면 되는 것과 같아요.

우리가 인공지능 서비스를 쓸 때 일어나는 일은 거의 다 뒤 토막이에요. 질문을 던질 때마다 모델이 다시 배우는 것이 아니라, 이미 굳어 있는 숫자를 지나가는 것뿐이에요.

모델 안에 원본 자료가 들어 있지는 않아요

모델이 학습에 쓴 글과 사진을 통째로 담고 있다고 오해하기 쉬워요. 실제로는 그렇지 않아요. 수백 기가바이트짜리 자료를 보고 만든 모델이 그보다 훨씬 작은 경우가 흔해요. 담긴 것은 자료가 아니라 자료에서 뽑아낸 경향이에요.

여러 번 되풀이해 나온 문장이나 아주 특이한 자료가 거의 그대로 흘러나오는 일이 드물게 있기는 해요. 그래도 기본 성질은 저장이 아니라 요약에 가까워요. 도안이 목도리 사진첩이 아니라 무늬를 만드는 순서인 것과 같아요.

그래서 모델에게 학습에 썼던 특정 문서를 그대로 꺼내 달라고 해도 잘 되지 않아요. 정확한 원문이 필요하면 모델 바깥에 자료를 따로 두고 찾아 오게 하는 방식을 써요.

한 벌이 아니라 여러 벌이 돌아다녀요

같은 뼈대로도 무엇을 보여 주며 학습했느냐에 따라 다른 모델이 나와요. 그래서 모델은 이름과 판이 붙어 여러 벌로 관리돼요. 학습 중간에 저장해 둔 판을 체크포인트라고 부르고, 완성된 모델에 다른 자료를 조금 더 먹여 성격을 바꾸는 일을 파인튜닝이라고 불러요.

크기도 여러 갈래예요. 파라미터가 많을수록 다루는 폭이 넓지만 그만큼 무겁고 느려요. 그래서 같은 계열 안에서도 커다란 판과 가벼운 판이 같이 나와요. 휴대폰 안에서 도는 것은 대개 가벼운 판이에요.