온도Temperature
후보들의 확률 차이를 벌리거나 좁히는 손잡이
- 온도는 다음에 올 말 후보들의 가능성 차이를 벌리거나 좁히는 손잡이예요.
- 낮추면 잘 나오는 말에 힘이 더 쏠려 또박또박하고 예측 가능한 글이 나와요.
- 올리면 뒤쪽 후보에도 기회가 돌아가 덜 흔한 말이 섞인 들쭉날쭉한 글이 나와요.
- 손잡이가 말을 고르지는 않아요. 고르는 일은 샘플링이 하고, 온도는 그 앞에서 판을 손볼 뿐이에요.
- 후보들의 순위는 바뀌지 않아요. 1등이 2등으로 내려가는 게 아니라 간격만 달라져요.
목차
1비유로 이해하기
집집마다 보일러 조절기에는 온도 손잡이가 하나 있어요. 이 손잡이는 온수를 새로 만들지 않아요. 이미 도는 물이 어디까지 어떻게 퍼질지만 정해요. 낮게 두면 보일러에서 가까운 방만 데워지고 끝 방은 서늘한 채로 남아요. 높이 올리면 온기가 구석방까지 퍼져서, 어느 방에 들어가도 따뜻해요.
AI가 다음 말을 고를 때도 손잡이 하나가 이런 일을 해요. 모델은 매번 "이 말이 올 가능성"을 후보마다 매겨 두는데, 온도를 낮추면 1등 후보 쪽으로 온기가 몰려 나머지는 사실상 식어요. 온도를 올리면 뒤쪽 후보에도 온기가 돌아 뽑힐 여지가 생겨요. 이렇게 가능성 사이의 간격을 조절하는 손잡이가 온도예요.
손잡이를 아무리 돌려도 보일러가 없던 방을 만들어 내지는 않아요. 후보 목록 자체는 그대로 두고 온기의 분포만 바꿔요.
2자세히 알아보기
손잡이는 고르는 일을 하지 않아요
글이 한 조각씩 만들어지는 과정은 두 단계로 나뉘어요. 먼저 모델이 다음에 올 만한 말마다 가능성을 매겨요. 그다음 그 가능성에 따라 하나를 뽑아요. 뽑는 단계가 샘플링이에요.
온도는 이 사이에 끼어들어요. 매겨진 가능성을 그대로 두지 않고, 간격을 벌리거나 좁힌 다음 뽑기 단계로 넘겨요. 보일러 손잡이가 물을 만들지 않고 흐름만 손보는 것과 같아요.
그래서 온도만 바꿔도 결과가 달라지지만, 온도가 없던 답을 지어내는 건 아니에요. 원래 가능성이 0에 가까웠던 말은 온도를 한참 올려도 좀처럼 나오지 않아요.
낮추면 또박또박, 올리면 들쭉날쭉
온도를 낮추면 1등 후보와 나머지의 간격이 크게 벌어져요. 매번 거의 같은 말이 뽑히니 문장이 반듯하고 예측 가능해져요. 같은 질문을 열 번 물어도 비슷한 답이 돌아와요. 대신 문장이 밋밋하고, 표현이 자주 반복돼요.
온도를 올리면 간격이 좁아져요. 2등, 3등 후보도 심심찮게 뽑히면서 표현이 다양해지고 같은 질문에도 매번 다른 답이 나와요. 광고 문구를 여러 갈래로 뽑아 보거나 이야기를 지을 때 쓸모가 있어요.
너무 올리면 문장이 무너져요. 가능성이 아주 낮던 말까지 뽑히기 시작하면 주제에서 벗어난 단어가 섞이고, 몇 문장 지나 앞뒤가 맞지 않게 돼요. 실무에서 쓰는 범위가 생각보다 좁은 이유예요.
가장 낮게 두면 어떻게 되나
온도를 바닥까지 내리면 사실상 1등 후보만 남아요. 뽑기라는 이름이 무색하게 매번 가장 가능성 높은 말이 그대로 나와요. 같은 질문에 같은 답이 나오길 바라는 일에서 이렇게 써요.
값을 뽑아 정리하는 일, 형식이 정해진 문서를 채우는 일, 앞뒤 대조가 필요한 일이 여기에 해당해요. 답이 매번 달라지면 확인하는 쪽이 피곤해지니까요.
다만 완전히 똑같은 답이 나온다고 보장하기는 어려워요. 계산 순서나 서비스 쪽 사정에 따라 미세한 차이가 생기기도 하고, 대화에 앞선 내용이 조금만 달라져도 답이 갈려요.
어디에 얼마쯤 두나
정답표는 없지만 결은 있어요. 사실을 정리하거나 규칙에 맞춰 써야 하는 일은 낮게, 표현을 여러 갈래로 보고 싶은 일은 중간쯤, 엉뚱한 조합까지 보고 싶은 일은 높게 두는 식이에요.
시작은 기본값 그대로가 좋아요. 대부분의 서비스가 사람이 읽기 좋은 자리로 맞춰 두었거든요. 결과가 지루하면 조금 올리고, 답이 산만하거나 사실이 흔들리면 내리면서 맞춰 가면 돼요.
한 번에 크게 돌리는 것보다 조금씩 옮기며 같은 질문을 여러 번 돌려 보는 편이 감을 잡기 좋아요. 손잡이 하나만 바꿨을 때 답이 어떻게 흔들리는지가 그 자리에서 보여요.
탑 P는 다른 손잡이예요
온도와 자주 함께 놓이는 설정으로 탑 P 샘플링이 있어요. 둘은 하는 일이 달라요. 온도는 후보들 사이의 간격을 손보고, 탑 P는 뽑을 후보의 범위를 위에서부터 잘라 둬요.
온기로 치면 온도는 집 안 온기가 얼마나 고르게 퍼질지를 정하고, 탑 P는 아예 문을 닫아 둘 방을 정하는 쪽이에요. 문을 닫아 둔 방은 온기가 아무리 돌아도 쓰이지 않아요.
둘을 한꺼번에 크게 건드리면 어느 쪽이 결과를 흔들었는지 알기 어려워요. 보통은 하나를 기본값에 두고 다른 하나만 움직여요.
3조금 더 정확하게
모델은 후보마다 점수를 내놓고, 이 점수를 확률로 바꾸는 계산을 거쳐요. 온도는 이 계산 직전에 점수 전체를 나누는 값이에요. 1보다 작으면 점수 차가 커져 확률 분포가 뾰족해지고, 1보다 크면 차가 줄어 평평해져요. 순위 자체는 어떤 값에서도 바뀌지 않아요.
비유가 어긋나는 지점도 있어요. 방 온도는 한번 올리면 서서히 데워지며 유지되지만, 이 손잡이는 조각 하나를 고를 때마다 매번 새로 적용돼요. 앞 글자에서 온기가 남아 다음 글자로 이어지는 일은 없어요. 또 온도를 올린다고 더 좋은 표현이 생기지는 않아요. 후보 목록은 모델이 이미 정해 둔 것이고, 손잡이는 그중 덜 흔한 쪽이 뽑힐 확률만 키워요. 창의성 손잡이라기보다 무작위성 손잡이에 가까워요. 값의 범위도 서비스마다 조금씩 달라요. 어떤 곳은 0에서 1까지, 어떤 곳은 2까지 허용해서 같은 숫자를 넣어도 체감이 다르게 나와요. 그래서 다른 서비스에서 쓰던 값을 그대로 옮겨 오기보다, 그 자리에서 몇 번 돌려 보고 맞추는 편이 안전해요.
4직접 해보기
5흔한 오해
온도를 올리면 모델이 창의적으로 바뀐다고 생각하기 쉽지만, 실제로는 덜 흔한 선택이 늘어날 뿐이라 엉뚱함과 창의를 가려 주지는 않아요.
온도를 0에 두면 언제나 똑같은 답이 나온다고 여기기 쉽지만, 실제로는 계산 사정이나 앞선 대화가 조금만 달라져도 답이 갈릴 수 있어요.
온도가 모델이 아는 내용을 바꾼다고 믿기 쉽지만, 실제로는 후보와 그 순위는 그대로고 사이의 간격만 달라져요.
7한 줄 요약
그러니까온도는 보일러 손잡이처럼 온기가 1등 후보에만 몰릴지 구석 후보까지 퍼질지를 정하는 손잡이이고, 말을 고르는 일 자체는 하지 않아요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02