정밀도와 재현율Precision & Recall

밑에 까는 무더기가 달라요

두 비율의 위쪽 숫자는 같아요. 제대로 골라낸 것의 개수예요. 다른 것은 아래쪽이에요.

정밀도는 골라낸 것 전부를 아래에 깔아요. 그래서 헛되이 골라낸 것이 늘면 값이 떨어져요. 재현율은 실제로 진짜였던 것 전부를 아래에 깔아요. 그래서 놓친 것이 늘면 값이 떨어져요.

이 차이 때문에 한쪽만 보면 얼마든지 속을 수 있어요. 모든 가방에 삑 소리를 내면 하나도 놓치지 않으니 재현율은 100퍼센트예요. 반대로 확실한 가방 하나에만 삑 소리를 내면 정밀도는 100퍼센트고요. 둘 다 아무 쓸모가 없는 문이에요.

손잡이 하나가 둘을 함께 흔들어요

AI는 대개 "금속일 가능성 0.8"처럼 점수를 내놓고, 그 점수가 어느 선을 넘으면 그렇다고 판정해요. 이 선이 감도 손잡이예요.

선을 낮추면 애매한 것까지 골라내니 놓치는 게 줄고 헛걸음이 늘어요. 재현율이 오르고 정밀도가 내려요. 선을 높이면 확실한 것만 골라내니 헛걸음이 줄고 놓치는 게 늘어요.

그래서 "정밀도가 몇 퍼센트인 모델"이라는 말은 반쪽짜리예요. 어느 선에서 잘랐을 때인지가 함께 있어야 하고, 그 선을 옮겨 가며 두 값이 어떻게 움직이는지 곡선으로 그려 봐야 모델의 진짜 실력이 보여요.

어느 쪽이 아픈지가 기준이에요

두 값 중 무엇을 높일지는 기술이 아니라 상황이 정해요.

놓치면 크게 위험한 일에서는 재현율을 우선해요. 헛걸음은 사람이 한 번 더 확인하면 되지만, 놓친 것은 아무도 다시 보지 않으니까요. 위험물 검색이나 설비 고장 조짐 찾기가 여기에 들어가요.

반대로 골라낸 것마다 사람의 손이 많이 드는 일에서는 정밀도를 우선해요. 헛걸음이 늘면 담당자가 지쳐서 나중에는 경고를 아예 무시하게 되거든요. 스팸 걸러내기나 문서 더미에서 필요한 것만 추리는 일이 그래요.

한 화면에 두 숫자를 같이 놓아요

그래서 평가표에는 둘을 나란히 적어요. 하나만 적힌 표는 나머지 하나가 무너져 있을 수 있다는 뜻으로 읽어요.

둘을 한 숫자로 합쳐서 보고 싶을 때 쓰는 것이 F1 점수예요. 다만 합치는 순간 어느 쪽이 낮아서 그 점수가 나왔는지는 다시 안 보이니, 합친 점수와 원래 두 값을 함께 두는 편이 좋아요.

종류가 여럿이면 종류마다 따로 재요

가르는 종류가 셋 이상이면 두 값을 종류마다 따로 계산해요. 어떤 종류는 잘 찾고 어떤 종류는 거의 못 찾는 일이 흔한데, 전체 평균 하나만 보면 그 차이가 묻혀요.

특히 자료에 적게 들어 있는 종류일수록 재현율이 낮게 나오기 쉬워요. 종류별 표를 펼쳐 놓고 가장 낮은 줄부터 보는 습관이 도움이 돼요.