로짓Logits

마지막 단계가 후보마다 점수를 하나씩 내놔요

모델은 문장을 통과시키며 값을 계속 주무르다가, 맨 마지막에 한 번 더 계산해서 숫자 줄을 하나 만들어요. 이 줄의 길이는 모델이 아는 조각의 개수와 같아요. 조각 목록이 수만 개면 점수도 수만 개가 나와요.

각 자리는 "다음에 이 조각이 올 것 같은 정도"를 나타내요. 값이 클수록 그 조각을 유력하게 본다는 뜻이고, 작거나 마이너스면 지금 자리에 어울리지 않는다고 본다는 뜻이에요.

이 숫자들은 사람이 읽으라고 만든 값이 아니에요. 모델 안에서 벌어진 계산의 결과가 그대로 나온 것이라, 눈금도 기준점도 따로 없어요.

점수 자체는 아직 확률이 아니에요

로짓은 세 가지 점에서 확률과 달라요. 다 더해도 1이 되지 않고, 음수가 나올 수 있고, 위아래 한계가 없어요. 그래서 점수 하나만 보고 "이 답을 얼마나 확신하는가"를 말할 수 없어요.

중요한 건 후보들 사이의 간격이에요. 1등과 2등의 점수가 크게 벌어져 있으면 답이 거의 하나로 굳어진 상태고, 촘촘히 붙어 있으면 어느 쪽이 나와도 이상하지 않은 상태예요. 모든 점수에 같은 값을 더해도 이 간격은 그대로라서, 결과도 달라지지 않아요.

확률로 바꾸는 계산은 따로 있어요

점수판을 확률로 바꾸려면 전체를 한 번에 놓고 나눠야 해요. 후보 하나의 점수만 봐서는 몇 퍼센트인지 정할 수 없고, 나머지 후보가 어떤 점수를 받았는지 함께 봐야 해요. 다른 후보들의 점수가 낮으면 같은 점수라도 높은 확률이 되고, 다들 비슷하게 높으면 확률은 잘게 쪼개져요.

이 변환은 순위를 건드리지 않아요. 점수판에서 1등이던 후보는 확률로 바꿔도 1등이에요. 확률은 순서를 정하려고 만드는 게 아니라, 사람이 읽고 서로 견줄 수 있는 눈금으로 옮기려고 만드는 거예요. 무작위로 골라 답에 다양성을 주려면 확률 형태가 필요하기도 하고요.

손잡이는 대부분 이 점수판을 건드려요

답의 성격을 바꾸는 설정들은 대개 점수가 확률로 바뀌기 전에 끼어들어요. 온도를 올리면 후보들의 점수 간격을 좁혀 놓아서, 확률로 바뀐 뒤 아래 후보들도 뽑힐 만해져요. 온도를 낮추면 간격을 벌려 1등이 거의 확실해져요.

특정 단어를 못 나오게 막는 기능도 여기서 일해요. 그 조각의 점수를 아주 낮은 값으로 눌러 두면, 확률로 바뀐 뒤에도 사실상 0이 돼요. 같은 말을 반복하지 못하게 하는 설정 역시 이미 나온 조각의 점수를 조금씩 깎는 방식이에요.

그래서 답이 이상하게 나올 때 어디를 봐야 하는지가 분명해져요. 모델이 계산한 점수 자체가 문제인지, 아니면 그 뒤에 붙은 조정이 문제인지를 나눠 볼 수 있어요.