검증 데이터Validation Set

배울 자료와 점검할 자료를 처음부터 갈라요

가진 자료를 통째로 학습에 넣고 그 자료로 점수를 매기면 점수는 늘 좋게 나와요. 잘 나오도록 맞춰 놓은 것을 다시 채점하는 셈이니까요. 그래서 자료를 모으고 나면 학습을 시작하기 전에 한 덩어리를 떼어 따로 치워 둬요. 비율은 대개 열에 하나쯤이고, 자료가 아주 많으면 그보다 적게 떼기도 해요.

떼어 둔 자료는 모델의 값을 고치는 데 한 번도 쓰이지 않아요. 오직 채점에만 쓰여요. 그래야 점수가 처음 보는 것 앞에서의 실력을 가리켜요. 점검용 자료를 학습에 한 번이라도 흘려 넣으면 그때부터 점수는 실력이 아니라 기억을 재게 돼요.

검증 점수가 대신 내려 주는 결정

학습은 한 바퀴 돌 때마다 조금씩 나아져요. 한 바퀴가 끝날 때마다 검증 자료로 채점해 점수를 적어 두면, 그 점수의 흐름이 여러 결정을 대신 내려 줘요. 가장 흔한 결정은 멈출 때예요. 검증 점수가 몇 바퀴째 제자리이거나 도로 나빠지면 그 자리에서 학습을 끊어요.

층을 몇 개 쌓을지, 학습률을 얼마로 둘지, 드롭아웃을 얼마나 걸지 같은 값도 검증 점수로 골라요. 이런 값은 모델이 스스로 배우는 값이 아니라 사람이 미리 정해 주는 값이라, 후보를 여럿 만들어 돌려 보고 검증 점수가 가장 좋은 것을 남기는 방식으로 고르게 돼요.

검증 자료에도 맞춰질 수 있어요

서랍에서 같은 사진을 백 번 꺼내 보며 값을 고치면, 그 몇 장에만 딱 맞는 값이 되기도 해요. 검증 자료도 마찬가지예요. 같은 자료로 점수를 매기며 설정을 수십 번 수백 번 고치다 보면, 모델이 아니라 만드는 사람이 그 자료에 맞춰 가게 돼요. 검증 점수는 계속 오르는데 정작 새 자료에서는 그만큼 나오지 않는 일이 생겨요.

그래서 자료를 셋으로 가르는 방식이 자리를 잡았어요. 배우는 몫, 학습 도중 점검하는 몫, 그리고 모든 결정이 끝난 뒤 딱 한 번만 꺼내는 몫이에요. 마지막 몫으로 잰 점수만이 아무도 맞춰 보지 않은 점수예요.

떼어 내는 방법이 점수를 바꿔요

앞에서부터 순서대로 잘라 내면 위험해요. 자료가 날짜순이나 종류순으로 쌓여 있으면 점검용 몫에 특정 시기나 특정 종류만 몰릴 수 있어요. 그래서 보통 잘 섞은 뒤 무작위로 떼고, 종류별 비율까지 원래대로 맞춰 떼기도 해요.

같은 내용이 양쪽에 겹쳐 들어가는 일도 자주 생겨요. 같은 문서를 두 군데서 받아 왔거나, 사진 한 장을 조금씩 바꿔 여러 장으로 늘려 두었다면 학습에 쓴 것과 거의 같은 것이 점검용에 섞여요. 그러면 점수가 실제보다 훨씬 높게 나와요. 시간이 흐르는 자료라면 점검용 몫을 뒤쪽 기간에서 떼는 편이 실제 상황에 더 가까워요.

자료가 적을 때

가진 자료가 몇백 건뿐이면 열에 하나를 떼는 것만으로도 아깝고, 그 적은 몫으로 낸 점수는 어느 자료가 걸렸느냐에 따라 크게 흔들려요. 이럴 때는 한 조각을 고정해 두는 대신 자료를 여러 조각으로 나눠 돌아가며 점검하고 점수를 평균 내요. 교차 검증이라고 불러요. 자료를 버리지 않으면서도 점수의 흔들림을 줄이는 방법이에요.