평균 제곱 오차Mean Squared Error

먼저 한 잔씩 빗나간 거리를 재요

맞히려는 값이 있고 실제로 내놓은 값이 있어요. 둘 사이의 거리가 그 잔의 오차예요. 목표보다 위로 갔든 아래로 갔든 거리 자체는 똑같이 생겨요.

이 거리를 그대로 다 더하면 방향이 서로를 지워요. 하루 동안 반은 넘치고 반은 모자랐다면 합이 거의 영이 되고, 하루 종일 손이 떨렸는데 완벽했다는 결론이 나와요. 방향을 지우고 크기만 남기는 손질이 반드시 필요해요.

방향을 지우는 방법은 두 가지예요. 부호를 떼고 거리만 세는 방법과, 제곱하는 방법이에요. 평균 제곱 오차는 뒤쪽을 골랐어요.

왜 하필 제곱일까요

제곱은 방향을 지우는 김에 한 가지 성질을 더 얹어요. 작은 어긋남은 더 작게, 큰 어긋남은 훨씬 크게 만들어요. 한 칸 벗어난 잔의 벌점이 1일 때 세 칸 벗어난 잔의 벌점은 9예요. 세 배 어긋났는데 벌점은 아홉 배가 붙어요.

이게 대부분의 경우에 우리가 원하는 태도예요. 눈금에서 한 칸 벗어난 잔은 마셔도 티가 잘 안 나지만, 세 칸 벗어난 잔은 아예 못 쓰게 돼요. 실패의 아픔이 어긋난 만큼 고르게 늘지 않고 훨씬 가파르게 늘어나는 일이 많거든요.

학습에서도 이 성질이 쓸모가 있어요. 크게 빗나간 자리에서 벌점이 가파르게 솟기 때문에, 모델을 어느 쪽으로 얼마나 고쳐야 할지가 또렷하게 드러나요. 목표에 가까워질수록 벌점의 변화가 완만해져서 마무리도 얌전하게 돼요.

평균을 내면 개수와 상관없어져요

벌점을 다 더하기만 하면 잔이 많은 날의 값이 무조건 커요. 그러면 어제와 오늘을 견줄 수가 없어요. 그래서 마지막에 잔 수로 나눠요. 이제 이 값은 "한 잔당 평균 벌점"이 되고, 잔이 열 개든 천 개든 서로 견줄 수 있어요.

이름의 세 마디가 그대로 계산 순서예요. 오차는 빗나간 거리, 제곱은 그 거리를 제곱하는 것, 평균은 마지막에 개수로 나누는 것이에요. 순서를 외우기보다 왜 그 순서인지를 알아 두면 다른 벌점을 볼 때도 읽을 수 있어요.

한 잔이 하루를 망쳐요

이 벌점의 가장 큰 성질은 튀는 값에 약하다는 점이에요. 백 잔 가운데 아흔아홉 잔이 한 칸 안쪽으로 정확했고 한 잔만 열 칸 어긋났다고 해 봐요. 아흔아홉 잔이 만든 벌점을 다 합쳐도 그 한 잔의 벌점보다 작아요.

이 성질은 상황에 따라 장점이 되기도 하고 함정이 되기도 해요. 크게 어긋나는 일이 정말 큰 사고인 문제라면 이렇게 벌점을 매기는 게 맞아요. 하지만 자료에 잘못 적힌 값이 섞여 있다면, 모델은 그 잘못된 값 하나를 맞히려고 나머지를 전부 희생하는 쪽으로 끌려가요.

그래서 이 벌점을 쓰기 전에 자료를 먼저 봐요. 튀는 값의 정체를 확인하고, 정말 일어난 일이 아니라면 손질한 뒤에 학습을 시작해요. 튀는 값이 진짜인데 그 영향이 부담스럽다면, 거리를 그대로 세는 벌점처럼 덜 가파른 방식으로 바꾸기도 해요.