비지도학습Unsupervised Learning

답이 없는 자료가 훨씬 흔해요

지도학습을 하려면 자료마다 답을 적어 둬야 하는데, 그 일은 사람 손으로 하나씩 해야 해요. 반면 저절로 쌓이는 자료에는 답이 없어요. 대여 기록, 결제 내역, 접속 기록, 인터넷에 올라온 글과 사진이 전부 답 없이 쌓인 더미예요.

양으로 보면 답 없는 쪽이 압도적이에요. 비지도학습은 이 더미를 그대로 쓸 수 있어서, 답을 붙이는 비용과 시간을 건너뛰어요. 대신 무엇을 찾아낼지 미리 정해 두지 못해요. 뭐가 나올지 모르는 채로 시작하는 셈이에요.

닮은 것끼리 모으기

가장 널리 쓰이는 쓰임은 무리 짓기예요. 기록 하나하나를 숫자 몇 개로 바꿔 놓고, 그 숫자들이 가까운 것끼리 묶어요. 대여 기록이라면 탄 시간대, 탄 거리, 반납 위치 같은 값이 자리를 정해요.

여기서 나온 무리에는 이름이 없어요. 1번 무리, 2번 무리일 뿐이에요. 이걸 보고 "아, 이건 출퇴근 손님이구나" 하고 이름을 붙이는 건 나중에 사람이 하는 일이에요. 기계는 경계를 그어 줄 뿐 그 무리가 무슨 뜻인지는 말해 주지 않아요.

항목을 줄여 한눈에 보기

기록 하나에 붙은 항목이 수십 개, 수백 개면 사람이 눈으로 볼 수가 없어요. 그래서 서로 겹치거나 거의 변하지 않는 항목을 걷어 내고 두세 개로 줄여요. 줄인 값으로 자리를 잡아 늘어놓으면 종이 한 장 위에 전체 그림이 들어와요.

정보를 조금 잃는 대신 눈으로 볼 수 있게 되는 거래예요. 대여 기록을 가로세로 두 값으로 줄여 찍어 보면, 앞서 말한 덩어리들이 실제로 서로 떨어져 있는지 바로 눈에 들어와요.

혼자 떨어진 것 찾기

무리에서 멀리 벗어난 기록도 저절로 눈에 띄어요. 새벽 세 시에 빌려 나가 사흘 뒤 엉뚱한 동네에서 발견된 기록 같은 것이요. 어느 무리에도 안 붙는 자료를 골라내는 이 쓰임을 이상 탐지라고 불러요.

미리 "이게 도난이다"라고 알려 준 적이 없는데도 걸러 낼 수 있다는 게 요점이에요. 카드 부정 사용이나 설비 고장 조짐을 찾는 자리에서 이 방식이 많이 쓰여요.

드문 일일수록 답을 붙인 예시를 모으기가 어려워요. 고장 난 적이 거의 없는 설비에서 고장 사례만 골라 수천 건을 모으기란 불가능에 가깝죠. 평소 모습만 잔뜩 보여 주고 거기서 벗어나는 것을 짚어 내는 쪽이 현실적인 이유예요.

잘했는지 재기가 어려워요

지도학습은 답이 있으니 몇 개 맞혔는지 세면 끝이에요. 비지도학습은 답이 없어서 채점을 못 해요. 무리를 셋으로 나눈 결과와 다섯으로 나눈 결과 중 어느 쪽이 옳은지 정해 줄 근거가 자료 안에 없어요.

그래서 무리끼리 잘 떨어져 있는지 같은 간접적인 잣대를 쓰거나, 결국 사람이 들여다보고 쓸모를 판단해요. 같은 자료에서도 어떤 항목을 넣고 어떤 잣대를 쓰느냐에 따라 전혀 다른 무리가 나와요.