이상치Outlier

무엇을 기준으로 "튄다"고 하나요

혼자 떨어져 있다는 판단에는 잣대가 필요해요. 가장 흔한 방법은 값들을 크기순으로 늘어놓고 가운데 절반이 차지하는 폭을 잰 다음, 그 폭의 한 배 반쯤을 위아래로 더 벌려 울타리를 치는 거예요. 울타리 밖으로 나간 값을 이상치 후보로 봐요.

값들이 가운데에 몰려 있는 모양이라면 평균에서 얼마나 멀리 떨어졌는지로 재기도 해요. 어느 방법이든 "이 정도면 멀다"는 선을 사람이 정해요. 선을 조금만 옮겨도 후보 목록이 달라지기 때문에, 기준을 먼저 적어 두고 값을 보는 순서를 지키는 게 좋아요.

값 하나가 아니라 여러 칸을 함께 봐야 드러나는 이상치도 있어요. 키 180센티미터도 흔하고 몸무게 40킬로그램도 흔하지만, 두 값이 한 사람에게 함께 적혀 있으면 눈에 걸려요.

값 하나가 얼마나 끌고 가나요

이상치가 무서운 이유는 개수가 아니라 힘이에요. 한 달치 저축액의 평균을 낼 때 하루가 오만 원이면 평균이 한참 위로 올라가요. 나머지 스물아홉 날을 아무리 꼼꼼히 적어도 이 하루가 결과를 정해요.

학습에서도 마찬가지예요. 많이 쓰이는 벌점 계산법은 빗나간 거리를 제곱해서 매기기 때문에, 멀리 떨어진 점 하나가 붙어 있는 점 백 개보다 큰 벌점을 만들어요. 그래서 모델은 그 한 점을 맞히려고 나머지를 희생하는 쪽으로 끌려가요.

지울지 살릴지 정하는 법

먼저 확인할 것은 기록이 어떻게 만들어졌는지예요. 손으로 입력한 칸이라면 자릿수를 잘못 눌렀을 가능성이 크고, 기계가 자동으로 남긴 값이라면 그 시간대에 장비가 어땠는지 확인해요. 원인이 잡히면 고치거나 지우는 판단이 쉬워져요.

원인을 못 찾았을 때는 지우는 대신 표시만 해 두는 쪽이 안전해요. 지운 값은 되살릴 수 없지만 표시해 둔 값은 나중에 다시 볼 수 있어요. 값을 아주 없애지 않고 울타리 값까지만 끌어당겨 두는 방법도 쓰여요.

이상치가 목적일 때도 있어요

지금까지는 이상치를 방해물로 다뤘지만, 반대인 분야가 많아요. 카드 도용 잡기, 기계 고장 미리 알기, 통신망 침입 찾기는 모두 "혼자 튀는 것"을 찾는 일이 목적이에요. 이때는 나머지 값들이 배경이고 튀는 값이 주인공이에요.

같은 값이라도 무엇을 하려는지에 따라 대우가 달라져요. 평균 매출을 구할 때 행사 날 매출은 걸리적거리는 값이지만, 어떤 행사가 잘 먹혔는지 알아보려면 그 값이 유일한 단서예요.

이때는 다루는 방식도 뒤집혀요. 튀는 값을 지우는 대신 그것만 따로 모아 두고, 어떤 상황에서 그런 값이 나오는지를 살펴요. 평소 값들은 배경 지식으로만 쓰이고, 판단의 기준선을 어디에 그을지가 일의 전부가 돼요.