퓨샷 학습Few-Shot Learning

말보다 예시가 빨리 통해요

"자연스럽게 다듬어 줘"라는 부탁에는 기준이 없어요. 자연스럽다는 게 어느 정도인지 사람마다 다르니까요. 이런 건 설명을 아무리 길게 붙여도 잘 전해지지 않아요.

대신 다듬기 전과 후를 두 쌍만 보여 주면 이야기가 달라져요. 문장을 얼마나 줄였는지, 어려운 말을 어디까지 풀었는지, 어미를 어떻게 맞췄는지가 그 두 쌍에 다 들어 있어요. 모델은 그 규칙을 짐작해 새 문장에 적용해요.

특히 결과를 프로그램이 받아 써야 할 때 효과가 커요. 항목 순서, 구분 기호, 빈칸을 어떻게 표시할지 같은 잔손질은 예시 한두 개로 못 박는 편이 설명보다 훨씬 정확해요.

예시는 정답이 아니라 틀을 알려 줘요

예시를 붙였다고 모델이 그 답을 외우는 게 아니에요. 예시들 사이에서 공통된 규칙을 찾아 새 입력에 적용해요. 후기 두 개에 각각 칭찬과 불만을 붙여 두면, 세 번째 후기에는 그 두 딱지 중 하나를 골라 붙이게 돼요.

그래서 예시를 어떻게 짜느냐가 중요해요. 칭찬 예시만 세 개 넣으면 새 입력도 칭찬으로 기울어요. 다뤄야 할 종류를 골고루 넣고, 헷갈리기 쉬운 경계에 있는 것을 하나쯤 넣어 두면 기준이 또렷해져요.

순서도 영향을 줘요. 마지막에 놓인 예시를 더 강하게 따라가는 경향이 있어서, 같은 예시라도 순서를 바꾸면 결과가 달라지곤 해요.

시범을 봐도 몸은 그대로예요

이름에 학습이 들어 있지만 모델이 배우는 건 아니에요. 시범을 두 번 봤다고 근육이 붙지 않는 것과 같아요. 예시는 그 자리에서 건네는 참고 자료일 뿐이고, 대화가 끝나면 아무것도 남지 않아요.

다음번에 같은 일을 시키려면 예시를 다시 붙여야 해요. 자주 쓰는 일이라면 시스템 프롬프트나 정해진 서식에 예시를 넣어 두는 방법을 써요. 아예 모델을 바꿔 버리고 싶다면 그건 다른 이야기고, 예시를 잔뜩 모아 따로 학습시키는 쪽으로 가야 해요.

몇 개가 적당할까요

보통 두 개에서 다섯 개 사이에서 가장 크게 좋아져요. 하나만 붙여도 형식은 잡히지만 기준이 흔들리고, 다섯 개를 넘어가면 좋아지는 폭이 눈에 띄게 줄어들어요.

늘리는 데는 대가도 있어요. 예시도 자리를 차지하니 넣을 수 있는 문서가 줄고, 주고받는 양이 늘어 비용과 시간도 함께 올라가요. 예시가 길다면 두 개로 줄이는 대신 그 두 개를 잘 고르는 편이 나아요.

일이 아주 단순하거나 모델이 이미 잘하는 일이라면 예시가 없어도 돼요. 예시는 형식이 까다롭거나 기준이 애매할 때 값어치가 커요.

같은 일을 하루에 수천 번 해야 한다면 계산이 달라져요. 예시를 매번 함께 보내는 비용이 쌓이니까요. 그럴 때는 모아 둔 예시로 모델을 따로 다듬어 두고, 실제 요청에는 예시를 빼는 쪽이 오히려 싸게 먹혀요.