퍼플렉시티Perplexity
다음 말을 몇 갈래에서 헷갈리는지 나타낸 값
- 퍼플렉시티는 모델이 다음 말을 고를 때 몇 갈래 사이에서 헷갈리는지를 하나의 숫자로 나타낸 값이에요.
- 값이 2면 매번 두 갈래 정도에서, 50이면 오십 갈래 정도에서 헤맨다는 뜻이에요. 낮을수록 잘 맞히는 거예요.
- 재는 방법은 간단해요. 글을 주고 다음 말을 얼마나 잘 맞히는지를 처음부터 끝까지 평균 내요.
- 조각 나누는 기준이나 평가에 쓴 글이 다르면 값을 그대로 비교할 수 없어요.
- 낮다고 좋은 답을 준다는 뜻은 아니에요. 사실 여부와 쓸모는 재지 못해요.
목차
1비유로 이해하기
저녁에 리모컨을 들면 채널이 몇 개나 떠오르나요. 매일 같은 채널의 같은 프로그램을 보는 집이라면 번호 하나를 누르고 끝이에요. 오늘 뭘 볼지 정하지 못한 밤에는 대여섯 채널을 계속 오가며 화면을 확인해요. 이때 오간 채널 수가 그날의 망설임 크기예요.
AI가 다음 말을 정할 때도 같은 망설임이 있어요. "대한민국의 수도는" 다음에는 채널이 사실상 하나예요. "주말에는 주로" 다음에는 켤 만한 채널이 수십 개고 어느 것도 이상하지 않아요. 이 망설임을 글 전체에 걸쳐 평균 내 하나의 숫자로 만든 값이 퍼플렉시티예요.
값이 8이면 평균적으로 여덟 개 채널을 놓고 갈팡질팡한다는 뜻이에요. 같은 글을 두고 잰 값이 낮은 모델일수록 리모컨을 덜 돌려요.
2자세히 알아보기
헷갈림을 개수로 바꿔 놓은 눈금
가능성만 놓고 보면 감이 잘 안 와요. 다음 말을 맞힐 확률이 0.2라는 말보다, 다섯 갈래에서 갈팡질팡한다는 말이 훨씬 와닿아요. 퍼플렉시티는 이렇게 헷갈림을 갈래 개수처럼 읽히는 숫자로 바꿔 놓은 눈금이에요.
가장 좋은 값은 1이에요. 다음 말이 늘 하나로 정해져 있다는 뜻이니까요. 실제 글에서 이런 일은 없어요. 사람이 쓴 글에도 여러 갈래로 이어질 수 있는 자리가 계속 나오니까요.
값이 커진다는 건 켤 만한 채널이 많아진다는 뜻이에요. 낯선 분야의 글이나 처음 보는 형식의 문서를 만나면 값이 훌쩍 뛰어요.
재는 방법은 맞히기 시험이에요
모델에게 글 한 편을 주고 앞에서부터 한 조각씩 읽혀요. 조각 하나를 읽기 직전에 "다음에 뭐가 올 것 같아?"를 묻고, 실제로 온 조각에 모델이 얼마나 큰 가능성을 매겨 두었는지 확인해요.
잘 맞힌 자리에서는 놀라움이 작고, 엉뚱한 자리에서는 놀라움이 커요. 이 놀라움을 글 전체에 걸쳐 평균 낸 뒤 갈래 개수처럼 읽히게 바꾸면 퍼플렉시티가 나와요.
사람이 채점할 필요가 없다는 점이 이 방법의 큰 장점이에요. 글만 있으면 자동으로 계산되니까 학습 도중에도 계속 지켜볼 수 있어요.
비교하려면 조건이 같아야 해요
값 자체보다 조심할 것이 비교예요. 다른 글로 잰 값끼리는 비교할 수 없어요. 뉴스 기사로 잰 값과 옛 소설로 잰 값은 애초에 난이도가 달라요.
글을 조각으로 나누는 기준이 다를 때도 비교가 어긋나요. 같은 문장이라도 조각을 잘게 나누는 모델과 큼직하게 나누는 모델은 맞혀야 할 횟수 자체가 달라지거든요. 모델이 다르면 이 기준도 대체로 달라요.
그래서 퍼플렉시티는 다른 모델끼리 순위를 매기는 용도보다, 같은 모델이 나아지고 있는지 지켜보는 용도에 잘 맞아요. 학습이 진행되며 값이 꾸준히 내려가면 잘 배우고 있다는 신호예요.
이 눈금이 못 보는 것
값이 낮다는 건 다음 말을 잘 맞힌다는 뜻이지, 좋은 답을 준다는 뜻이 아니에요. 사실이 맞는지, 질문에 제대로 답했는지, 읽는 사람에게 도움이 되는지는 이 숫자에 담기지 않아요.
지시를 따르는 능력도 마찬가지예요. 사람의 요청에 맞춰 답하도록 다듬는 과정을 거치면 퍼플렉시티가 오히려 조금 올라가기도 해요. 사람이 보기에는 훨씬 쓸 만해졌는데 숫자는 나빠지는 거예요.
그래서 요즘은 이 값을 단독 성적표로 쓰지 않아요. 사람이 매긴 평가, 과제별 정답률, 모델끼리 맞붙는 비교와 함께 놓고 봐요.
어디에 쓸모가 있나
가장 흔한 쓰임은 학습을 지켜보는 일이에요. 값이 내려가다 멈추면 더 배울 것이 없거나 어딘가 막혔다는 신호로 읽어요. 값이 갑자기 튀면 데이터에 문제가 생겼는지 살펴봐요.
특정 분야에 맞춰 모델을 다듬을 때도 써요. 의료 문서나 법률 문서로 잰 값이 다듬기 전후로 얼마나 내려갔는지 보면 그 분야의 말투에 적응했는지 가늠할 수 있어요.
글이 모델에게 얼마나 낯선지 재는 데도 쓰여요. 값이 유난히 높게 나오는 문서는 학습 때 보지 못한 종류일 가능성이 높아요.
3조금 더 정확하게
퍼플렉시티는 모델이 평가용 글에 매긴 확률을 조각 수만큼 평균 낸 뒤, 그 값을 갈래 개수처럼 읽히도록 뒤집은 값이에요. 모든 조각을 완벽히 맞히면 1이 되고, 아무것도 맞히지 못할수록 커져요. 학습 때 줄이려고 애쓰는 오차 값과 같은 뿌리에서 나온 숫자라, 학습 곡선과 나란히 움직여요.
비유가 어긋나는 지점도 있어요. 채널 수는 정수지만 퍼플렉시티는 12.4처럼 소수로 나와요. 실제로 후보를 열두 개로 좁혔다는 뜻도 아니에요. 가능성이 고르게 퍼진 정도를 갈래 수로 환산한 값이라, 후보가 수만 개여도 한둘에 힘이 쏠려 있으면 값은 작게 나와요. 또 채널은 눈에 보이지만 이 값은 평가에 쓴 글이 무엇이냐에 따라 함께 움직여서, 숫자 하나만 떼어 놓고는 좋고 나쁨을 말할 수 없어요. 평가용 글이 학습에 섞여 들어간 경우에도 값이 뚝 떨어져요. 모델이 잘 맞혀서가 아니라 이미 본 글이라 그런 것인데, 숫자만 보면 구별되지 않아요. 값을 볼 때 학습 자료와 평가 자료가 겹치지 않았는지 함께 확인하는 이유예요.
4직접 해보기
5흔한 오해
7한 줄 요약
그러니까퍼플렉시티는 다음 말을 정할 때 리모컨으로 몇 개 채널을 오가는지를 숫자로 바꾼 눈금이고, 낮을수록 덜 헤맨다는 뜻이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02