인스트럭션 튜닝Instruction Tuning
지시를 받으면 그에 맞춰 답하는 형식을 익히는 단계
- 인스트럭션 튜닝은 말은 이미 할 줄 아는 모델에게 지시를 받으면 그에 맞춰 답하는 형식을 익히게 하는 단계예요.
- 학습 재료는 지시와 그에 맞는 답을 짝지은 자료예요. 사람이 쓰거나 다듬은 것들이에요.
- 이 단계를 거치지 않은 모델은 질문을 받아도 답 대신 비슷한 문장을 이어 써요.
- 새 지식을 넣는 자리가 아니에요. 아는 것을 어떤 모양으로 꺼낼지를 배우는 자리예요.
- 이 단계 다음에 사람이 매긴 선호로 답의 결을 다듬는 단계가 이어져요.
목차
1비유로 이해하기
무대에 올리기 전날, 배우들이 모여 리허설을 해요. 이 자리에서 연기를 처음 가르치지는 않아요. 대사도 감정도 이미 다들 할 줄 알아요. 맞춰 보는 것은 진행이에요. 무대 감독이 손을 들면 등장하고, 조명이 바뀌면 자리를 옮기고, 신호가 없으면 기다려요.
AI도 비슷한 자리를 거쳐요. 방대한 글을 읽으며 말을 이어 붙이는 능력은 이미 갖췄어요. 그런데 사람이 무언가를 시켰을 때 그 시킴을 신호로 알아듣고 거기에 맞는 답을 내놓는 것은 별개의 일이에요. 그래서 지시와 그에 맞는 답을 짝지어 놓은 자료로 진행을 맞춰 보는 단계를 따로 거쳐요. 이것이 인스트럭션 튜닝이에요.
리허설을 마친 배우가 연기력이 늘어난 것은 아니에요. 같은 실력으로 신호에 맞게 움직일 뿐이죠. 이 단계를 지난 모델도 아는 것이 늘지는 않아요. 아는 것을 꺼내는 타이밍과 모양이 달라져요.
2자세히 알아보기
리허설 전의 모델은 어떤 상태인가
방대한 글로 학습을 마친 모델은 이어 쓰기의 달인이에요. 어떤 문장을 던져 줘도 그럴듯한 다음 문장을 붙여 줘요. 문제는 사람이 원하는 게 이어 쓰기가 아닐 때예요.
이런 모델에게 "김치찌개 끓이는 법 알려 줘"라고 넣으면 조리법이 아니라 "된장찌개 끓이는 법도 알려 줘", "그리고 반찬은 뭐가 좋을까"처럼 비슷한 문장이 줄줄이 붙어 나오기도 해요. 요청을 요청으로 알아듣지 못하고, 그 문장 뒤에 올 법한 글을 이어 쓴 거예요.
무대 밖에서 대사를 잘하는 배우가 큐 사인을 모르는 상태와 같아요. 실력이 없는 게 아니라 진행 규칙을 모르는 거예요.
리허설 대본은 지시와 답의 짝
학습에 쓰는 자료는 짝으로 되어 있어요. 한쪽에는 사람이 시킬 법한 지시가, 다른 쪽에는 그 지시에 맞는 좋은 답이 놓여요. 모델은 이 짝을 잔뜩 보면서 지시 뒤에는 이런 모양의 답이 온다는 흐름을 익혀요.
지시의 종류는 아주 넓어요. 요약해 줘, 표로 정리해 줘, 이 문장을 다른 말로 바꿔 줘, 왜 그런지 설명해 줘, 조건에 안 맞으니 되물어 줘 같은 것들이에요. 답이 어려운 질문에는 모른다고 답하는 짝도 함께 들어가요.
짝의 개수보다 다양성이 중요해요. 비슷한 지시만 잔뜩 넣으면 그 형식에만 능한 모델이 돼요. 무대 한 장면만 스무 번 맞춰 보고 다른 장면은 손도 안 댄 리허설과 같아요.
새 지식을 넣는 자리가 아니에요
이 단계를 지식 주입으로 오해하기 쉬운데, 실제로 늘어나는 것은 형식과 태도예요. 회사 규정이나 최신 공지처럼 모델이 모르는 내용을 다루고 싶다면 자료를 찾아와 곁에 두는 방식이 더 맞아요.
물론 특정 분야의 지시 자료를 많이 넣으면 그 분야의 말투와 형식에는 익숙해져요. 다만 사실을 외우는 효과는 크지 않고, 넣은 자료에 틀린 내용이 있으면 그 틀린 결까지 함께 배어요.
리허설로 배우의 연기력이 크게 늘지 않는 것과 같아요. 동선과 신호는 확실히 몸에 붙지만, 목소리 자체가 달라지지는 않아요.
프롬프트로 시키는 것과는 층이 달라요
지시를 잘 쓰면 모델의 답이 좋아져요. 그건 그때그때 무대 위에서 손짓으로 알려 주는 것과 비슷해요. 매번 다시 알려 줘야 하고, 새 대화가 시작되면 사라져요.
인스트럭션 튜닝은 그 손짓 없이도 움직이도록 몸에 배게 하는 쪽이에요. 모델 안의 값이 조금씩 바뀌면서, 짧은 지시만으로도 적당한 길이와 형식으로 답하게 돼요. 예시를 붙이지 않아도 지시만으로 일이 되는 것은 이 단계 덕이에요.
두 가지는 서로를 대신하지 않아요. 잘 다듬어진 모델에게도 명확한 지시는 여전히 큰 차이를 만들어요.
다음 단계로 이어져요
이 단계를 마치면 지시는 잘 따르지만 답의 결은 아직 거칠어요. 두 답이 모두 지시를 지켰는데 한쪽이 훨씬 읽기 좋은 경우, 어느 쪽이 나은지 가리는 기준은 여기서 배우지 않았거든요.
그래서 뒤에 한 단계가 더 붙어요. 사람이 여러 답을 견주어 더 나은 쪽을 고르고, 그 취향을 반영해 답의 결을 다듬는 과정이에요. RLHF (Reinforcement Learning from Human Feedback, 사람 피드백 기반 강화 학습) 라고 불러요.
리허설로 진행을 맞춘 뒤, 관객 반응을 보며 연기의 세기와 속도를 손보는 순서라고 보면 돼요. 앞 단계가 형식을, 뒤 단계가 결을 맡아요.
3조금 더 정확하게
인스트럭션 튜닝은 지시와 응답 쌍으로 하는 지도 학습식 추가 학습이에요. 사전 학습으로 얻은 값을 크게 흔들지 않는 선에서 조금씩 조정해요. 자료의 양은 사전 학습에 비하면 아주 적어서, 좋은 짝 수만 건만으로도 결과가 확 달라지는 일이 흔해요. 요즘은 사람이 만든 짝과 큰 모델이 만든 짝을 섞어 쓰기도 해요.
비유가 어긋나는 지점도 있어요. 배우는 리허설에서 규칙을 이해하고 기억하지만, 모델은 이해한다기보다 지시 뒤에 이런 답이 오는 흐름이 자연스럽다고 값이 조정될 뿐이에요. 그래서 대본에 없던 지시도 비슷하면 곧잘 따르는 반면, 대본과 결이 크게 다른 지시에는 갑자기 무너지기도 해요. 또 리허설은 한 번으로 끝나지만 이 단계는 모델을 새로 낼 때마다 자료를 손보며 반복해요. 잘못 다루면 잃는 것도 있어요. 좁은 종류의 짝만 오래 학습시키면 사전 학습에서 얻은 폭넓은 능력이 흐려지기도 해요. 자료의 양보다 종류를 고르게 채우라는 말이 이 단계에서 자주 나오는 까닭이에요.
4직접 해보기
5흔한 오해
7한 줄 요약
그러니까인스트럭션 튜닝은 연기를 이미 할 줄 아는 배우들이 큐 사인에 맞춰 움직이도록 진행을 맞추는 리허설처럼, 모델이 지시를 신호로 알아듣고 그에 맞는 모양으로 답하게 만드는 단계예요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02