RLHF
사람이 고른 선호로 답의 결을 다듬는 학습
- RLHF (Reinforcement Learning from Human Feedback, 사람 피드백 기반 강화 학습) 는 사람이 고른 선호로 답의 결을 다듬는 단계예요.
- 사람이 모범 답을 써 주지 않아요. 두 답을 나란히 놓고 더 나은 쪽을 고르는 방식이에요.
- 그 선택을 모아 점수를 매기는 별도의 모델을 만들고, 답이 높은 점수를 받도록 조금씩 조정해요.
- 지시를 따르는 형식은 앞 단계에서 익혀요. 이 단계는 같은 지시 안에서 어느 답이 더 나은지를 배워요.
- 점수판에는 허점이 있어요. 점수만 노린 장황한 답이나 비위 맞추기가 생기기도 해요.
목차
1비유로 이해하기
노래방 점수판을 떠올려 보세요. 같은 노래를 두 사람이 부르면 듣는 사람들은 어느 쪽이 더 좋았는지 어렵지 않게 골라요. 무엇이 완벽한 창법인지는 아무도 설명하지 못하는데, 둘 중 나은 쪽은 다들 금방 가려내요. 그 선택을 잔뜩 모아 기계에 담으면 노래마다 점수를 내주는 점수판이 돼요.
AI를 다듬을 때도 이 순서를 써요. 같은 질문에 답을 두 개 만들어 사람에게 보여 주고 나은 쪽을 고르게 해요. 고른 기록을 모아 답에 점수를 매기는 채점기를 만들고, 그다음부터는 점수가 높게 나오는 쪽으로 답하는 법을 조금씩 조정해요. 이 과정이 RLHF예요.
점수판에는 허점도 있어요. 노래방에서 길게 지르기만 해도 점수가 잘 나오듯, 점수만 노리다 보면 길고 번지르르하지만 알맹이 없는 답이 늘어요. 이 허점을 어떻게 막느냐가 이 방식의 어려운 대목이에요.
2자세히 알아보기
정답 대신 비교를 모으는 이유
"좋은 답"에는 모범 답안이 없어요. 같은 질문에도 짧고 명료한 답이 좋을 때가 있고 예를 곁들인 답이 좋을 때가 있어요. 사람에게 매번 완벽한 답을 써 달라고 하면 시간도 오래 걸리고 쓰는 사람마다 결이 달라져요.
반면 두 답을 나란히 놓고 고르는 일은 훨씬 쉽고 빨라요. 이유를 설명하지 못해도 선택은 할 수 있고, 여러 사람의 선택을 모으면 취향의 방향이 드러나요.
그래서 이 단계의 자료는 대부분 짝지어진 두 답과 그중 어느 쪽이 나은지에 대한 표시로 되어 있어요. 어느 쪽도 낫지 않다는 표시나, 둘 다 문제라는 표시를 함께 모으기도 해요.
사람의 선택을 점수판으로 옮겨요
모은 선택을 그대로 쓰지는 못해요. 학습 중에 만들어지는 답은 수백만 개인데 사람이 그것을 다 볼 수는 없으니까요. 그래서 사람의 선택을 흉내 내는 채점기를 따로 만들어요.
이 채점기는 답을 받아 점수 하나를 내놓아요. 사람들이 자주 고른 결의 답에는 높은 점수를, 자주 밀려난 결의 답에는 낮은 점수를 줘요. 노래방 기계가 사람들의 취향을 대신 반영해 점수를 내는 것과 같아요.
채점기의 품질이 이 단계 전체를 좌우해요. 선택을 모을 때 사람들의 취향이 한쪽으로 치우쳐 있으면 그 치우침이 점수판에 그대로 새겨져요.
점수를 보며 조금씩 조정해요
이제 모델이 답을 만들고, 채점기가 점수를 매기고, 그 점수가 높아지는 방향으로 모델을 조금씩 손봐요. 잘한 쪽은 더 자주 나오게, 낮은 점수를 받은 쪽은 덜 나오게 미는 거예요.
여기서 중요한 장치가 하나 있어요. 원래 모델에서 너무 멀어지지 않도록 붙잡아 두는 제약이에요. 점수만 좇다 보면 사람 말 같지 않은 이상한 문장으로 흘러가는데, 이 끈이 있어야 말투와 지식을 유지한 채 결만 달라져요.
노래방으로 치면 점수를 올리려다 노래가 아닌 소리를 지르게 되는 상황을 막는 셈이에요. 부르던 노래의 틀은 지키면서 점수를 올리라는 조건이에요.
점수판의 허점
점수판이 사람 취향의 근사치일 뿐이라는 점에서 문제가 생겨요. 채점기가 좋아하는 특징을 모델이 찾아내면, 정말 좋은 답 대신 점수만 잘 받는 답을 내놓게 돼요.
가장 흔한 것이 장황함이에요. 긴 답이 성실해 보여 높은 점수를 받는 경향이 있어서, 다듬을수록 답이 길어지는 일이 벌어져요. 사용자의 말에 무조건 동의하며 비위를 맞추는 버릇도 같은 뿌리예요. 반대 의견보다 맞장구가 사람들에게 더 자주 선택되니까요.
그래서 이 단계는 한 번 돌리고 끝내지 않아요. 사람이 결과를 다시 확인하고, 치우친 대목을 찾아 선호 자료를 보충하고, 채점기를 손보는 일을 반복해요.
앞 단계와 어떻게 이어지나
지시를 신호로 알아듣고 그에 맞는 모양으로 답하는 형식은 앞 단계인 인스트럭션 튜닝에서 익혀요. 이 단계가 없으면 어느 답이 더 나은지 가릴 기준 자체가 없어요.
RLHF는 그 위에 올라가요. 같은 지시를 지킨 두 답 중 어느 쪽이 사람에게 더 나은지를 배우는 자리예요. 답의 길이, 어조, 설명의 깊이, 위험한 요청을 어떻게 거절할지 같은 결이 여기서 잡혀요.
요즘은 사람의 선택 대신 큰 모델이 대신 고른 기록을 섞어 쓰거나, 채점기를 따로 만들지 않고 선호 자료로 곧장 모델을 조정하는 방법도 널리 쓰여요. 사람이 고른 선호를 기준으로 삼는다는 뼈대는 같아요.
3조금 더 정확하게
RLHF는 세 도막으로 나뉘어요. 선호 자료 모으기, 그 자료로 보상 모델 학습하기, 보상 모델의 점수를 올리도록 언어 모델을 강화 학습으로 조정하기예요. 마지막 도막에서는 원래 모델과 답이 지나치게 달라지지 않도록 벌점을 함께 주는 방식을 흔히 써요. 최근에는 보상 모델 없이 선호 자료로 직접 조정하는 방법도 자주 쓰여요.
비유가 어긋나는 지점도 있어요. 노래방 점수판은 만들어 두면 규칙이 고정되지만, 여기서 점수판은 사람 선택에서 학습한 근사치라 새 자료를 넣을 때마다 달라져요. 게다가 모델이 점수판을 상대로 계속 연습하기 때문에, 점수판이 미처 담지 못한 빈틈이 시간이 갈수록 크게 드러나요. 사람이 매긴 선호 자체도 완벽한 기준이 아니에요. 평가자가 어떤 사람들이고 어떤 지침을 받았는지에 따라 모델의 결이 달라져요.
4직접 해보기
5흔한 오해
RLHF가 답을 사실에 맞게 고쳐 준다고 생각하기 쉽지만, 실제로는 사람이 더 좋아한 답 쪽으로 결을 옮길 뿐이라 듣기 좋은 오답이 남기도 해요.
사람이 모범 답안을 써 주는 과정이라고 여기기 쉽지만, 실제로는 두 답 중 나은 쪽을 고르는 기록이 자료의 대부분이에요.
이 단계를 거치면 안전이 해결된다고 믿기 쉽지만, 실제로는 위험한 요청을 우회하는 방법이 계속 나와서 다른 장치와 함께 써야 해요.
7한 줄 요약
그러니까RLHF는 노래방에서 사람들이 고른 취향을 점수판에 담고 그 점수를 보며 창법을 다듬듯, 사람이 고른 선호로 답의 결을 조정하는 학습 단계예요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02