프롬프트 충실도Prompt Adherence

잘 만들었는가와 시킨 대로인가는 다른 잣대

생성 결과를 볼 때 사람은 두 가지를 한꺼번에 봐요. 하나는 만듦새예요. 선이 깨지지 않았는지, 색이 자연스러운지, 어색한 손가락이 없는지를 봐요. 다른 하나가 충실도예요. 내가 적은 것이 거기 있는지를 봐요.

이 둘은 따로 놀아요. 아주 근사한 풍경이 나왔는데 정작 부탁한 등대가 없을 수 있고, 투박한 그림인데 적어 준 요소가 하나도 빠짐없이 들어 있을 수 있어요. 도구를 고를 때 만듦새만 보고 고르면, 쓰면서 계속 주문을 다시 적게 되는 이유가 여기 있어요.

그래서 성능을 견주는 자리에서는 두 잣대를 나눠서 점수를 매겨요. 한 줄로 합친 점수만 보면 어느 쪽이 부족한지 알 수 없거든요.

사람이 세는 방법

가장 믿을 만한 방법은 사람이 직접 세는 거예요. 주문을 항목으로 쪼개는 것부터 시작해요. 빨간 우산, 사람 셋, 비 오는 밤길처럼 확인할 수 있는 조각으로 나눠요. 그다음 결과를 보며 항목마다 들어갔는지 표시하고, 맞은 항목의 비율을 점수로 삼아요.

두 결과를 나란히 놓고 어느 쪽이 주문에 더 가까운지 고르게 하는 방법도 많이 써요. 점수를 매기는 것보다 둘 중 하나를 고르는 편이 사람마다 기준이 덜 흔들리거든요.

문제는 느리고 비싸다는 점이에요. 사람마다 기준도 조금씩 달라서, 보통 한 결과를 여러 명이 보고 의견이 갈리는 정도까지 함께 기록해요.

자동으로 채점하는 방법

사람 대신 다른 모델에게 채점을 맡길 수도 있어요. 흔한 방식은 그림을 보고 글로 설명하는 모델에게 결과를 보여 준 뒤, 원래 주문과 얼마나 겹치는지 견주게 하는 거예요. 그림과 글을 같은 자로 재는 모델에게 둘의 가까운 정도를 물어보는 방법도 있어요.

요즘은 주문을 잘게 쪼개 질문으로 바꾼 뒤 하나씩 물어보는 방식이 많이 쓰여요. 우산이 빨간가요, 사람이 셋인가요처럼 예 아니오로 답할 수 있게 만들고, 맞다고 답한 비율을 점수로 삼아요. 사람이 하던 항목 세기를 그대로 기계에 옮긴 셈이에요.

자동 채점은 값이 싸고 수천 장도 하루면 끝나요. 대신 채점하는 모델이 못 보는 것은 영영 못 봐요. 글자가 뭉개진 간판이나 어색한 그림자를 그냥 넘어가기도 해요. 그래서 자동 점수로 크게 걸러 낸 다음 사람이 일부만 다시 보는 식으로 섞어 써요.

유난히 자주 빗나가는 칸

충실도가 무너지는 자리는 대체로 정해져 있어요. 첫째는 개수예요. 셋이라고 적으면 둘이나 넷이 나오는 일이 흔해요. 둘째는 자리 관계예요. 왼쪽, 위, 뒤처럼 서로의 위치를 정해 주는 말이 잘 지켜지지 않아요.

셋째는 속성이 섞이는 일이에요. 빨간 모자와 파란 가방이라고 적으면 모자가 파랗고 가방이 빨갛게 나오기도 해요. 넷째는 글자예요. 간판이나 표지판의 글씨는 비슷한 모양의 무의미한 무늬로 나오기 쉬워요. 다섯째는 없애 달라는 말이에요. 무엇을 넣지 말라고 적으면 오히려 그것이 등장하곤 해요.

충실도를 올리면 잃는 것

주문을 더 세게 따르도록 밀어붙이는 손잡이가 있어요. 이 값을 올리면 적어 준 요소는 잘 들어가는데, 색이 튀고 결과가 뻣뻣해져요. 반대로 낮추면 자연스럽고 다양해지지만 주문을 슬슬 흘려요.

한 장을 완벽히 맞히려 손잡이를 끝까지 올리기보다, 적당한 자리에 두고 여러 장을 뽑아 그중 주문에 가까운 것을 고르는 편이 결과가 좋을 때가 많아요. 충실도는 한 장의 성적이 아니라 여러 장의 평균으로 봐야 하는 값이거든요.