파인튜닝Fine-Tuning
학습된 모델을 새 자료로 조금 더 다듬기
- 파인튜닝은 이미 학습을 마친 모델을 새 자료로 조금 더 다듬는 일이에요. 처음부터 다시 가르치지 않아요.
- 손대는 범위가 모델 전체예요. 안쪽 값들이 전부 조금씩 움직여요. 그래서 결과물은 원래 모델과 다른 새 모델이에요.
- 아주 조금씩 움직이는 게 요령이에요. 크게 움직이면 원래 갖고 있던 실력이 흐트러져요.
- 잘 맞는 쓰임은 말투와 형식, 그리고 그 분야의 문서를 다루는 결이에요. 없던 지식을 새로 채워 넣는 데는 잘 안 맞아요.
- 전이 학습이라는 큰 우산 아래의 한 가지 방법이에요. 본체를 건드리지 않는 가벼운 방법도 따로 있어요.
목차
1비유로 이해하기
기성복 한 벌을 사 왔다고 해 볼게요. 어깨선도 소매 길이도 대충은 맞지만 어딘가 헐렁해요. 수선집에 맡기면 옷을 처음부터 짓지 않아요. 천을 새로 재단하는 일도, 옷본을 다시 뜨는 일도 없어요. 실밥을 조금 뜯어 어깨를 한 뼘 줄이고, 소매를 두 번 접어 박고, 허리를 살짝 잡아요. 재봉틀이 지나가는 자리는 짧고, 옷의 뼈대는 그대로예요. 대신 손대는 자리는 옷 전체에 흩어져 있어요. 어깨만 줄이면 소매가 어색해지니 함께 조금씩 옮겨야 하거든요. 욕심을 부려 많이 뜯어내면 원래 옷의 맵시가 무너지고 되돌리기도 어려워요. 파인튜닝은 완성된 옷을 뼈대는 두고 전체적으로 조금씩 고쳐 몸에 맞추는 일이에요.
2자세히 알아보기
처음부터 짓지 않아요
큰 모델을 처음부터 가르치는 일은 옷감을 사서 옷본을 뜨는 일과 같아요. 자료도 시간도 비용도 개인이 감당할 수 있는 규모가 아니에요. 파인튜닝은 그 단계를 건너뛰어요. 이미 지어진 옷을 사 오는 셈이거든요.
그래서 필요한 자료가 확 줄어요. 잘 만들어진 예시 수백에서 수천 건이면 결과가 눈에 띄게 달라져요. 몇 시간에서 하루 정도면 끝나는 일이 많고, 큰 모델을 밑바닥부터 짓는 일과는 자릿수가 다른 규모예요.
조금씩, 아주 조금씩
수선에서 중요한 건 얼마나 조금 움직이느냐예요. 파인튜닝도 같아요. 값을 한 번에 얼마나 옮길지 정하는 손잡이를 아주 작게 잡아요. 처음 가르칠 때보다 훨씬 작게요.
크게 잡으면 새 자료에만 맞춰 확 쏠려요. 몇 번 도는 것으로 끝내는 것도 이 때문이에요. 같은 자료를 여러 바퀴 돌리면 그 예시들을 통째로 외워 버려서, 조금만 다른 요청이 와도 어색한 답을 내놓아요.
무엇을 가르칠 수 있나
파인튜닝이 잘하는 일은 형식과 말투와 결이에요. 항상 같은 틀로 답하게 만들기, 회사의 문서 말씨에 맞추기, 특정 분야에서 쓰는 표현을 어색하지 않게 다루기 같은 것이요. 수선으로 치면 품과 길이를 몸에 맞추는 일이에요.
반대로 새 지식을 채워 넣는 일에는 잘 안 맞아요. 사내 규정 수백 건을 파인튜닝으로 외우게 하면 대충 비슷한 말을 지어내기 쉬워요. 그런 일은 필요한 문서를 그때그때 찾아 붙여 주는 방식이 더 확실해요. 옷 수선으로 주머니 속 물건을 바꿀 수는 없는 것과 같아요.
너무 손대면 원래 옷이 망가져요
새 자료로 오래 다듬으면 모델이 원래 잘하던 일을 잊어요. 법률 문서 말씨만 몇 바퀴 가르쳤더니 일상 대화가 딱딱해지고 계산 문제를 못 푸는 식이에요. 이 현상을 파괴적 망각이라고 불러요.
옷으로 보면 허리를 너무 잡아 팔을 못 드는 상태예요. 그래서 새 자료만 넣지 않고 원래 잘하던 종류의 예시를 조금 섞어 넣거나, 다듬기 전후를 같은 잣대로 재서 잃은 것이 없는지 확인해요. 다듬은 뒤에는 원래 모델을 지우지 않고 남겨 둬요. 옷과 달리 모델은 원본을 그대로 보관할 수 있으니까요.
통째로 고칠지 덧대기만 할지
파인튜닝은 모델 안쪽 값을 전부 조금씩 움직여요. 그만큼 결과가 잘 나오지만, 다 마치고 나면 원래와 같은 크기의 새 모델이 하나 더 생겨요. 용도가 열 가지면 큰 모델이 열 벌 쌓이는 셈이에요.
그래서 본체는 그대로 두고 작은 덧붙임만 학습하는 방법이 널리 쓰여요. 덧붙임은 아주 가벼워서 필요할 때 갈아 끼울 수 있어요. 자료가 아주 많고 결과의 마지막 한 뼘까지 필요할 때는 여전히 전체를 다듬는 쪽을 택해요.
3조금 더 정확하게
파인튜닝은 사전 학습을 마친 모델의 파라미터를 출발점으로 삼아, 목표 과제의 자료로 다시 학습을 돌려 파라미터 전체를 갱신하는 방법이에요. 학습률을 작게 잡고 도는 횟수를 적게 가져가는 것이 보통이에요.
비유가 어긋나는 자리도 있어요. 옷은 실밥을 뜯은 자리만 달라지지만, 파인튜닝은 눈에 보이는 특정 부위가 아니라 모델 안쪽 값이 전체적으로 조금씩 달라져요. 어디가 얼마나 달라졌는지 사람이 짚어 보기 어려워요. 또 수선은 되돌리기 힘들지만 모델은 원본 파일이 남아 있어 언제든 처음 상태로 돌아갈 수 있어요. 그리고 사람의 취향 점수로 다듬는 단계나 지시를 따르도록 맞추는 단계처럼, 파인튜닝이라는 이름 아래 서로 목적이 다른 여러 단계가 함께 묶여 불리기도 해요. 어느 단계를 가리키는 말인지는 앞뒤 문맥을 보고 갈라 읽어야 해요.
4직접 해보기
5흔한 오해
파인튜닝을 하면 모델이 새 지식을 외운다고 생각하기 쉽지만, 실제로는 말하는 결이 바뀌는 쪽에 가까워요. 사실을 정확히 담아야 하면 문서를 찾아 붙이는 방식이 더 나아요.
자료가 많을수록 좋다고 여기기 쉽지만, 실제로는 잘 다듬은 예시 수백 건이 어수선한 수만 건보다 나은 경우가 흔해요.
한 번 다듬으면 원래 실력은 그대로 남는다고 생각하기 쉽지만, 실제로는 잘하던 일을 잃기도 해서 전후를 같은 잣대로 재 봐야 해요.
7한 줄 요약
그러니까파인튜닝은 이미 완성된 모델의 뼈대를 두고 안쪽 값 전체를 조금씩 옮겨, 원하는 결과에 몸에 맞게 고쳐 입히는 방식이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02