다음 토큰 예측Next-Token Prediction

1하나를 고르는 게 아니라 가능성을 매겨요

모델은 다음 자리에 올 후보 하나를 콕 집어내지 않아요. 조각 목록에 있는 수만에서 수십만 개 후보 전부에 대해 "이게 올 가능성은 이만큼" 하고 점수를 매겨요. "오늘 날씨가 참" 다음이라면 "좋네요"가 높고, "맑아요"도 꽤 높고, "네모나요"는 아주 낮은 식이에요.

그다음에 이 점수를 보고 하나를 뽑아요. 늘 1등만 뽑으면 답이 딱딱해지고, 특히 긴 글에서는 같은 말을 되풀이하기 쉬워요. 그래서 보통은 점수가 높은 후보들 사이에서 약간의 운을 섞어 뽑아요. 같은 질문에 매번 조금씩 다른 답이 오는 이유가 여기에 있어요.

2맞혀 보고 곧바로 확인해요

학습은 이 맞히기를 어마어마하게 반복하는 일이에요. 글을 한 조각까지만 보여 주고 다음 조각을 맞히게 한 뒤, 원래 글에 적힌 진짜 조각과 비교해요.

빗나갔으면 그만큼 모델 안의 숫자들을 아주 조금 손봐요. 다음번에는 정답 쪽 가능성이 조금 더 높게 나오도록요. 한 번의 수정은 티도 안 나게 작지만, 이걸 셀 수 없이 되풀이하면 감이 잡혀요.

주목할 점은 이 첫 학습 단계에는 사람이 답을 달아 주는 자리가 없다는 거예요. 문제도 글에서 나오고 정답도 같은 글에 있어요. 인터넷에 있는 글이면 무엇이든 그대로 문제집이 되는 셈이에요. 사람이 쓴 예시와 평가는 대화를 잘하도록 다듬는 뒤 단계에서 쓰여요.

3글 한 편에서 문제가 쏟아져요

가리는 자리를 한 칸씩 옮기기만 하면 새 문제가 돼요. 조각이 천 개인 글이라면 문제도 대략 천 개예요. 문서 한 편을 버리는 부분 없이 끝까지 짜내 쓰는 거예요.

앞을 얼마나 보여 주느냐도 매번 달라져요. 어떤 문제는 앞의 세 조각만 보고 풀어야 하고, 어떤 문제는 수백 조각을 보고 풀어요. 짧은 문맥과 긴 문맥을 다루는 연습이 자연스럽게 섞여요.

문제의 난이도도 자리마다 크게 달라요. "감사합니" 다음 조각은 거의 정해져 있어 누구나 맞히지만, 이야기의 결말 첫 조각은 앞의 내용을 다 붙들고 있어야 겨우 짐작할 수 있어요. 쉬운 문제와 어려운 문제가 뒤섞여 있는 셈이라, 같은 방식으로 계속 풀다 보면 다루는 폭이 저절로 넓어져요.

4맞히기가 능력으로 바뀌는 지점

다음 조각 맞히기는 시시해 보여요. 그런데 잘하려면 알아야 할 게 계속 늘어나요. "대한민국의 수도는" 다음을 맞히려면 지리를 알아야 하고, "삼 더하기 넷은" 다음을 맞히려면 셈을 해야 해요.

긴 글에서는 요구가 더 커져요. 소설 마지막 줄의 다음 조각을 맞히려면 앞에서 누가 무엇을 했는지 붙들고 있어야 해요. 결국 맞히기를 계속 잘하려다 보니 지식과 추론이 딸려 들어온 거예요.

답을 만들 때도 같은 일을 해요. 질문을 받으면 그 뒤에 이어질 조각을 하나 고르고, 그것을 붙인 글을 다시 읽고 또 하나를 고르는 식이에요. 번역도 요약도 상담도, 안에서 벌어지는 일은 이 한 가지뿐이에요.