정답 데이터Ground Truth

기준이 있어야 맞고 틀림이 생겨요

AI를 학습시킬 때든 성능을 잴 때든, 자료 하나하나 옆에 실제로는 무엇이었는지가 적혀 있어야 해요. 이 답이 있어야 학습 중에는 얼마나 어긋났는지 계산해 방향을 잡고, 학습이 끝난 뒤에는 몇 개를 맞혔는지 셀 수 있어요.

정확도도 정밀도도 재현율도 전부 이 기준 위에 서 있어요. 기준이 없으면 계산할 대상 자체가 없어요. 평가 이야기를 할 때 지표보다 정답 데이터를 먼저 챙기는 이유예요.

기준은 어디서 오나요

가장 흔한 방법은 사람이 자료를 하나씩 보고 답을 붙이는 거예요. 이 작업이 라벨링이고, 정답 데이터는 그 작업의 결과물이에요.

이미 답이 기록되어 있는 경우도 있어요. 지난 몇 해의 설비 고장 기록이나 계측기가 남긴 측정값처럼요. 이런 자료는 사람 손을 덜 타서 좋지만, 기록이 빠진 날이나 잘못 적힌 줄이 그대로 기준이 되어 버리는 위험이 있어요.

사람이 붙이기 어려울 만큼 자료가 많으면 다른 방법을 섞어요. 규칙으로 자동으로 붙인 뒤 일부만 사람이 검수하거나, 이미 학습된 모델에게 초안을 붙이게 하고 사람이 고치는 식이에요. 손이 덜 들지만 기준의 품질은 그만큼 내려가요.

기준이 틀어지면 조용히 어긋나요

정답 데이터에도 오류가 섞여요. 자료가 애매했거나, 작업자가 지쳤거나, 지침이 모호했기 때문이에요. 큰 자료 묶음에서 몇 퍼센트의 답이 틀려 있는 일은 드물지 않아요.

이 오류는 두 번 일해요. 학습할 때는 틀린 답을 따라 배우게 만들고, 채점할 때는 맞게 답한 것을 틀렸다고 표시해요. 모델을 아무리 손봐도 점수가 안 오르는 자리에서 원인이 여기 있는 경우가 꽤 있어요.

그래서 점수가 이상하게 낮은 항목이 있으면 모델을 의심하기 전에 그 항목의 정답부터 몇십 건 다시 읽어 봐요. 소리굽쇠를 다시 울려 보는 일에 해당해요.

답이 하나가 아닌 일도 많아요

사진에 고양이가 있는지 없는지는 답이 하나예요. 하지만 이 문장이 긍정인지 부정인지, 이 글의 요약으로 어느 쪽이 나은지는 사람마다 갈려요.

이런 자료에서는 한 사람의 판단을 정답으로 삼지 않아요. 여러 사람에게 같은 자료를 주고, 의견이 모인 쪽을 기준으로 삼거나 갈린 정도까지 함께 기록해요. 사람들끼리도 여덟 번 중 여섯 번밖에 일치하지 않는 자료라면, AI에게 그 이상을 기대하는 것 자체가 무리라는 뜻이기도 해요.

글을 새로 지어내는 일에서는 정답을 아예 한 줄로 적을 수 없어요. 그래서 기준 답안을 여러 개 두거나, 사람이 직접 견주어 고르게 하는 방식으로 기준을 대신해요.

채점용 기준은 따로 잠가 둬요

학습에 쓴 자료와 채점에 쓸 자료는 처음부터 갈라 놓아요. 학습에 썼던 자료로 채점하면 답을 외운 결과가 그대로 점수가 되니까요.

갈라 두기만 해서는 부족해요. 같은 내용이 형태만 바뀌어 양쪽에 들어가는 일이 흔하거든요. 한 사진의 자른 판본이 학습에, 원본이 채점에 들어가는 식이에요. 이렇게 새어 든 자료는 점수를 조용히 부풀려요.