신뢰도 점수Confidence Score

점수는 어디서 나오나요

분류하는 모델의 마지막 단계에서는 후보마다 값이 하나씩 나와요. 이 값들은 크기 제한이 없어서 그대로는 읽기 어려워요. 그래서 전부 양수로 바꾸고 서로 나눠서, 합이 1이 되도록 맞춰요. 화면에 보이는 퍼센트가 이 결과예요.

여기서 중요한 성질이 하나 생겨요. 합이 1이라서 누군가는 반드시 높은 점수를 가져가요. 후보가 고양이와 강아지 둘뿐이라면 어떤 사진을 넣어도 둘 중 하나는 절반을 넘어요. 사진이 자동차든 벽지든 상관없이요.

그래서 점수가 높다는 건 "다른 후보들보다 이쪽에 가깝다"는 뜻이지 "이것이 맞다"는 뜻이 아니에요. 견주는 상대가 누구냐에 따라 같은 사진의 점수가 크게 달라져요.

80%가 80%가 아닐 수 있어요

점수 90짜리 판단들만 따로 모아 실제로 몇 개가 맞았는지 세어 보면 놀라운 결과가 나와요. 흔히 아흔 개가 아니라 일흔 개쯤 맞아요. 모델이 자기 실력보다 스스로를 높게 보는 거예요. 이런 버릇을 과신이라고 불러요.

반대 방향도 있어요. 조심스럽게 배운 모델은 실제로 아흔다섯 번 맞으면서도 점수는 70쯤만 주기도 해요. 어느 쪽이든 숫자를 곧이곧대로 읽으면 판단이 틀어져요.

고치는 방법은 세어 보는 것뿐이에요. 점수대별로 실제 정답률을 재서 표를 만들고, 그 표에 맞게 숫자를 다시 눌러 주거나 늘려 줘요. 이 작업을 거친 뒤에야 80이라는 숫자를 "열 번 중 여덟 번" 정도로 읽을 수 있어요.

배운 적 없는 것에도 점수는 나와요

가장 조심할 대목이에요. 고양이와 강아지만 배운 모델에 자동차 사진을 넣으면 "모르겠다"가 나오지 않아요. 둘 중 하나가 뽑히고, 점수까지 꽤 높게 붙기도 해요. 모델은 "이게 무엇인가"를 묻는 게 아니라 "배운 후보 중 어디에 가까운가"만 묻기 때문이에요.

그래서 높은 점수를 "확실히 안다"는 뜻으로 읽으면 위험해요. 낯선 입력에서 나온 높은 점수는 오히려 모델이 상황을 전혀 모른다는 신호일 수 있어요. 해당 없음을 담을 후보를 하나 더 만들어 두거나, 아예 입력이 배운 범위 안인지 따로 확인하는 장치를 붙여요.

어디에 선을 그을지

실제 서비스에서는 점수를 그대로 보여 주기보다 선을 하나 긋고 넘으면 반응하게 만들어요. 이 선을 어디에 두느냐가 성격을 완전히 바꿔요.

선을 낮게 두면 놓치는 게 줄지만 엉뚱한 반응이 늘어요. 선을 높게 두면 잘못 반응하는 일은 줄지만 진짜인 것도 함께 걸러져요. 어느 쪽이 나은지는 용도가 정해요. 놓치면 큰일 나는 자리에서는 선을 낮게, 잘못 알리면 곤란한 자리에서는 높게 잡아요.

점수를 견주면 안 되는 자리들

서로 다른 모델이 낸 점수는 같은 자로 잰 값이 아니에요. 한쪽의 70이 다른 쪽의 95보다 믿을 만할 수 있어요. 두 모델을 견줄 때는 점수가 아니라 같은 시험 자료에서 실제로 몇 개를 맞혔는지를 봐야 해요.

같은 모델 안에서도 상황이 바뀌면 점수의 뜻이 흔들려요. 어두운 사진, 흐린 사진, 배운 자료에 거의 없던 각도에서는 점수가 실제 실력보다 훨씬 높게 나오기도 해요. 점수는 절대적인 성적표가 아니라 그때그때의 참고 값이에요.