지식 증류Knowledge Distillation
큰 모델의 판단을 작은 모델에 옮겨 담는 방법
- 지식 증류는 잘하는 큰 모델의 판단을 작은 모델이 흉내 내게 만들어, 작은 몸으로 비슷한 성능을 내게 하는 방법이에요.
- 작은 쪽은 정답만 보고 배우지 않아요. 큰 쪽이 후보들 사이에서 얼마나 갈렸는지까지 함께 받아서 배워요.
- 갈린 정도에는 정답표에 없는 정보가 담겨 있어요. 어떤 것끼리 헷갈리고 어떤 것끼리는 전혀 안 헷갈리는지가 들어 있어요.
- 갈린 정도가 너무 한쪽으로 쏠려 보이지 않을 때는 눈금을 넓게 펴서 차이를 드러낸 뒤 배우게 해요.
- 크기를 줄이는 다른 방법과 함께 써요. 값의 눈금을 성기게 하는 방법, 덜 쓰이는 연결을 잘라 내는 방법과 목적이 같아요.
목차
1비유로 이해하기
산지의 큰 과일 선별기는 한 알이 지나갈 때마다 무게와 당도와 색과 흠집을 모두 재서 등급을 매겨요. 동네 가게에 이 기계를 들일 수는 없어요. 자리도 값도 감당이 안 되니까요. 그래서 이렇게 해요. 큰 기계에 과일 수만 알을 통과시켜 판정 결과를 통째로 받아 적어 두는 거예요. 그다음 카메라 하나로 겉모습만 보는 작은 기계에게 그 기록을 보여 주며 같은 판정이 나오도록 맞춰요. 여기서 요령이 하나 있어요. 큰 기계가 "특 등급 쪽으로 많이 기울었지만 상 등급 가능성도 조금 있음"이라고 남긴 애매한 판정까지 그대로 넘겨주는 거예요. 이 망설임 안에 등급 사이의 거리가 담겨 있거든요. 지식 증류가 하는 일이 이 옮겨 담기예요.
2자세히 알아보기
큰 쪽을 선생 삼아 작은 쪽을 맞춰요
증류에는 두 모델이 나와요. 이미 잘 학습된 큰 모델과, 새로 만들려는 작은 모델이에요. 큰 쪽을 선생, 작은 쪽을 학생이라고 불러요. 학습 자료를 두 모델에 똑같이 넣고, 학생의 출력이 선생의 출력에 가까워지도록 학생만 고쳐 나가요. 선생은 손대지 않아요.
여기서 자료에 정답이 붙어 있을 필요가 없다는 점이 크게 유리해요. 사람이 하나하나 답을 달지 않은 자료라도 선생에게 통과시키기만 하면 배울 거리가 생기니까요. 라벨이 붙은 자료는 늘 모자라지만 라벨 없는 자료는 넘쳐나요.
정답표에 없는 것이 담겨 있어요
정답만 보고 배우는 방식에서는 "이 알은 특 등급"이라는 사실 하나만 전해져요. 나머지 등급은 전부 똑같이 아닌 것으로 처리돼요. 선생의 판정에는 그보다 훨씬 많은 것이 들어 있어요. 특 등급 쪽으로 크게 기울면서 상 등급에도 얼마간 무게가 남아 있고, 폐기 쪽에는 거의 0이 붙어 있죠.
이 모양이 알려 주는 것은 등급들 사이의 거리예요. 특과 상은 헷갈릴 만하지만 특과 폐기는 전혀 헷갈리지 않는다는 사실이 숫자의 모양에 새겨져 있어요. 학생은 정답 하나가 아니라 이 모양 전체를 따라 하면서, 훨씬 적은 자료로도 비슷한 판단을 익히게 돼요.
눈금을 넓게 펴서 보여 주기
잘 학습된 선생일수록 판정이 한쪽으로 크게 쏠려요. 특 등급에 거의 전부가 몰리고 나머지에는 아주 작은 값만 남죠. 이대로 넘기면 학생 눈에는 정답 하나만 보이는 것과 별로 다르지 않아요. 애써 담긴 정보가 너무 작아서 묻혀 버려요.
그래서 눈금을 잠시 넓게 펴요. 값들의 차이를 완만하게 눌러 작은 값들이 보이게 만든 뒤 학생에게 넘기는 거예요. 학생 쪽 출력도 같은 눈금으로 맞춰 견주고, 다 배운 뒤에는 원래 눈금으로 돌려놓아요. 너무 넓게 펴면 모든 등급이 고만고만해져 배울 것이 없어지고, 좁게 두면 정보가 묻혀요. 이 폭을 조절하는 것이 증류의 요령이에요.
얼마나 줄일 수 있을까요
크기를 크게 줄이면서도 성능은 꽤 지켜 낼 수 있어요. 층 수를 줄이거나 층의 폭을 좁힌 학생을 만들고, 선생 여럿의 판정을 평균 내 넘겨주기도 해요. 마지막 출력만 따라 하게 하는 대신 중간 층의 모양까지 맞추게 하면 더 잘 옮겨지는 경우가 많아요.
얻는 것은 속도와 비용이에요. 작은 모델은 답이 빨리 나오고, 메모리를 적게 쓰고, 노트북이나 손안의 기기에서도 돌아가요. 크기를 줄이는 다른 방법과 함께 쓰기도 해요. 값을 성기게 표현해 용량을 줄이는 방법, 거의 쓰이지 않는 연결을 잘라 내는 방법과 목적이 같고 서로 겹치지 않아요.
옮겨지지 않는 것들
증류로 옮겨지는 것은 선생이 이미 잘하는 범위 안의 판단이에요. 선생이 헷갈리는 자리에서는 학생도 똑같이 헷갈려요. 선생의 치우침이나 잘못된 습관도 그대로 따라와요. 학생은 선생을 흉내 내는 것이 목표라서, 선생이 틀린 방향으로 기울어 있으면 그 기울기까지 배워요.
넓고 깊은 지식을 요구하는 일에서는 격차가 다시 벌어지기도 해요. 자주 나오는 상황에서는 작은 모델이 선생과 거의 같은 답을 내지만, 드물고 까다로운 상황에서는 몸집 차이가 드러나요. 그래서 증류는 큰 모델을 없애는 방법이 아니라, 자주 쓰는 일을 값싸게 처리하는 짝을 만드는 방법에 가까워요.
3조금 더 정확하게
지식 증류(Knowledge Distillation)는 선생 모델의 출력 분포를 학생 모델이 따라가도록 학습시키는 방법이에요. 정답 하나만 표시한 라벨을 하드 라벨, 선생이 내놓은 분포를 소프트 라벨이라고 불러요. 분포를 완만하게 펴는 값을 온도라고 하고, 학생의 손실은 소프트 라벨을 따라가는 항과 실제 정답을 맞히는 항을 섞어 만드는 경우가 많아요. 출력만이 아니라 중간 층의 표현을 맞추는 방식은 특징 증류라고 불러요.
비유가 어긋나는 지점도 있어요. 과일 선별기는 무게와 당도라는 정해진 항목을 재지만, 큰 모델이 무엇을 근거로 판단하는지는 사람이 항목으로 적어 낼 수 없어요. 그래서 옮겨 담는 것은 근거가 아니라 결과의 모양이에요. 또 선별기의 판정에는 저울이라는 확실한 기준이 있지만, 선생 모델의 판정은 그 자체가 짐작이에요. 선생이 틀린 자리에서는 학생이 틀린 답을 정성껏 배우게 돼요.
4직접 해보기
5흔한 오해
증류하면 큰 모델과 같은 실력이 된다고 생각하기 쉽지만, 실제로는 자주 나오는 상황에서 비슷해질 뿐 드물고 어려운 상황에서는 차이가 드러나요.
증류는 모델을 압축하는 기술이라고 여기기 쉽지만, 실제로는 큰 모델을 줄이는 것이 아니라 작은 모델을 새로 학습시키는 방법이에요.
선생의 정답만 받아 배우면 된다고 믿기 쉽지만, 실제로는 후보들 사이에서 얼마나 갈렸는지까지 받아야 증류의 이점이 살아나요.
7한 줄 요약
그러니까지식 증류는 큰 모델이 내놓은 판단의 모양을 작은 모델이 따라 배우게 해서, 작은 몸으로 비슷한 답을 내게 만드는 방법이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02