탑 P 샘플링Top-p Sampling

탑 P 샘플링은 뉴클리어스 샘플링이라고도 불러요. 확률이 높은 순으로 후보를 정렬해 누적 확률이 기준값 이상이 되는 가장 작은 집합만 남기고, 남은 후보의 확률을 다시 합이 1이 되도록 나눈 뒤 그 안에서 뽑아요. 많은 구현에서는 온도를 먼저 적용해 확률 분포를 정하고 그 위에서 자르지만, 자르기를 먼저 하고 온도를 나중에 적용하는 도구도 있어요. 순서가 바뀌면 같은 값이라도 남는 후보가 달라질 수 있어요.

비유가 어긋나는 지점도 있어요. 주차장은 한 번 자리를 정하면 그날의 선택이 끝나지만, 이 자르기는 글자 조각 하나를 고를 때마다 매번 새로 일어나요. 한 문장을 쓰는 동안에도 후보 수가 한 개였다 스무 개였다 계속 달라져요. 또 주차장의 선은 바닥에 고정돼 있지만, 탑 P의 선은 고정된 자리가 아니라 위에서부터 더한 가능성이 몫에 닿는 지점이에요. 그래서 고정된 것은 몫이고, 선이 몇 번째 후보 뒤에 그어지는지는 자리마다 옮겨 다녀요. 또 주차장에서는 어느 자리가 가까운지 눈으로 보이지만, 후보의 가능성은 모델 안에서 계산된 값이라 사람이 미리 알 수 없어요. 그래서 값을 조금 바꿨을 때 결과가 얼마나 흔들릴지는 직접 여러 번 돌려 봐야 알 수 있어요.