사전 학습Pretraining

목적을 정하기 전에 배워요

예전 방식은 반대였어요. 감정 분류기를 만들려면 후기와 정답 딱지를 잔뜩 모아 그것만 학습시켰어요. 번역기를 만들려면 또 처음부터 다시 시작했고요. 목적지를 먼저 정하고 그 길만 외우게 한 셈이에요.

사전 학습은 목적지를 비워 둬요. 인터넷 문서, 책, 백과사전 같은 온갖 글을 그대로 읽히면서 말이 어떻게 쓰이는지만 익히게 해요. 무엇에 쓸지는 나중에 정해도 되니까요.

이 순서를 바꾼 것이 언어 모델이 여러 분야로 빠르게 퍼진 이유예요. 새 일을 시킬 때마다 처음부터 만들 필요가 없어졌거든요.

문제집이 저절로 만들어져요

사람이 답을 달아 주는 학습은 비쌌어요. 후기 십만 건에 일일이 좋음과 나쁨을 표시하려면 사람 손이 어마어마하게 들어가니까요.

사전 학습에는 그 과정이 없어요. 글의 일부를 가리고 그 자리를 맞히게 하면, 정답은 가린 원문에 이미 적혀 있어요. 채점이 공짜인 셈이에요. 그래서 사람 손을 거치지 않은 글이라도 그대로 학습에 쓸 수 있어요.

덕분에 다루는 양이 예전과 비교가 안 되게 커졌어요. 사람이 평생 읽어도 다 못 볼 분량의 글을 통째로 훑는 일이 가능해진 거예요.

한꺼번에 여러 층이 쌓여요

빈칸을 맞히는 단순한 연습만 반복하는데, 그 안에서 여러 가지가 동시에 자리를 잡아요. 맨 아래에는 글자와 맞춤법이 쌓여요. 어떤 글자 뒤에 어떤 글자가 오는지가 먼저 몸에 배요.

그 위에 문장 짜임이 쌓여요. 조사와 어미가 어떻게 붙는지, 주어와 서술어가 어떻게 짝을 이루는지가 잡혀요. 문법책을 따로 보지 않았는데도 어색한 문장을 어색하다고 느끼게 되는 지점이에요.

맨 위에는 세상에 대한 상식이 얹혀요. "김치는 ○○ 음식"의 빈칸을 맞히려면 김치가 무엇인지 알아야 하니까요. 빈칸 맞히기를 잘하려다 보니 지식까지 딸려 들어온 거예요.

오래 걸리고 비싸요

사전 학습은 한 번 돌리는 데 몇 주에서 몇 달이 걸리고, 계산 장비도 엄청나게 들어요. 도중에 방향을 바꾸기도 어려워요. 학습이 한참 진행된 뒤에 자료에 문제가 있었다는 걸 알아도 되돌리기가 쉽지 않아요.

그래서 이 단계는 아무나 하지 않아요. 대신 이미 사전 학습을 마친 모델을 가져와 쓰는 방식이 자리를 잡았어요. 면허를 새로 만들지 않고 이미 면허가 있는 사람을 데려오는 것과 같아요.

면허를 딴 뒤에 하는 일

사전 학습만 마친 모델은 말은 잘 잇지만 지시를 따르는 데는 서툴러요. 질문을 넣으면 답 대신 비슷한 질문을 줄줄이 이어 쓰기도 해요. 다음 말을 잇는 연습만 했으니 당연한 결과예요.

그래서 뒤에 다듬는 단계가 붙어요. 지시와 좋은 답이 짝지어진 예시를 보여 주며 대화하는 법을 가르치고, 사람이 더 나은 답을 골라 주며 말투와 태도를 잡아요. 여기까지 마쳐야 우리가 쓰는 모습이 돼요.