다음 토큰 예측Next-Token Prediction

하나를 고르는 게 아니라 가능성을 매겨요

모델은 다음 자리에 올 후보 하나를 콕 집어내지 않아요. 조각 목록에 있는 수만 개 후보 전부에 대해 "이게 올 가능성은 이만큼" 하고 점수를 매겨요. "오늘 날씨가 참" 다음이라면 "좋네요"가 높고, "맑아요"도 꽤 높고, "네모나요"는 아주 낮은 식이에요.

그다음에 이 점수를 보고 하나를 뽑아요. 늘 1등만 뽑으면 답이 딱딱해지고 같은 말만 반복하게 돼요. 그래서 보통은 점수가 높은 후보들 사이에서 약간의 운을 섞어 뽑아요. 같은 질문에 매번 조금씩 다른 답이 오는 이유가 여기에 있어요.

맞혀 보고 곧바로 확인해요

학습은 이 맞히기를 어마어마하게 반복하는 일이에요. 글을 한 조각까지만 보여 주고 다음 조각을 맞히게 한 뒤, 원래 글에 적힌 진짜 조각과 비교해요.

빗나갔으면 그만큼 모델 안의 숫자들을 아주 조금 손봐요. 다음번에는 정답 쪽 가능성이 조금 더 높게 나오도록요. 한 번의 수정은 티도 안 나게 작지만, 이걸 수십억 번 되풀이하면 감이 잡혀요.

주목할 점은 사람이 개입하는 자리가 없다는 거예요. 문제도 글에서 나오고 정답도 같은 글에 있어요. 인터넷에 있는 글이면 무엇이든 그대로 문제집이 되는 셈이에요.

글 한 편에서 문제가 쏟아져요

가리는 자리를 한 칸씩 옮기기만 하면 새 문제가 돼요. 조각이 천 개인 글이라면 문제도 대략 천 개예요. 문서 한 편을 버리는 부분 없이 끝까지 짜내 쓰는 거예요.

앞을 얼마나 보여 주느냐도 매번 달라져요. 어떤 문제는 앞의 세 조각만 보고 풀어야 하고, 어떤 문제는 수백 조각을 보고 풀어요. 짧은 문맥과 긴 문맥을 다루는 연습이 자연스럽게 섞여요.

문제의 난이도도 자리마다 크게 달라요. "감사합니" 다음 조각은 거의 정해져 있어 누구나 맞히지만, 이야기의 결말 첫 조각은 앞의 내용을 다 붙들고 있어야 겨우 짐작할 수 있어요. 쉬운 문제와 어려운 문제가 뒤섞여 있는 셈이라, 같은 방식으로 계속 풀다 보면 다루는 폭이 저절로 넓어져요.

맞히기가 능력으로 바뀌는 지점

다음 조각 맞히기는 시시해 보여요. 그런데 잘하려면 알아야 할 게 계속 늘어나요. "대한민국의 수도는" 다음을 맞히려면 지리를 알아야 하고, "삼 더하기 넷은" 다음을 맞히려면 셈을 해야 해요.

긴 글에서는 요구가 더 커져요. 소설 마지막 줄의 다음 조각을 맞히려면 앞에서 누가 무엇을 했는지 붙들고 있어야 해요. 결국 맞히기를 계속 잘하려다 보니 지식과 추론이 딸려 들어온 거예요.

답을 만들 때도 같은 일을 해요. 질문을 받으면 그 뒤에 이어질 조각을 하나 고르고, 그것을 붙인 글을 다시 읽고 또 하나를 고르는 식이에요. 번역도 요약도 상담도, 안에서 벌어지는 일은 이 한 가지뿐이에요.