조기 종료Early Stopping

두 개의 성적이 서로 다르게 움직여요

학습 중에는 성적을 두 군데서 재요. 하나는 학습에 쓴 자료고, 다른 하나는 학습에 쓰지 않고 따로 떼어 둔 자료예요. 학습 자료 성적은 바퀴를 돌수록 거의 언제나 좋아져요. 모델이 그 자료를 점점 잘 외우기 때문이에요.

떼어 둔 자료 성적은 다르게 움직여요. 처음에는 함께 좋아지다가, 어느 지점을 지나면 더 나아지지 않고 슬슬 나빠져요. 모델이 자료에 담긴 규칙 대신 그 자료에만 있는 잡음까지 따라 그리기 시작한 순간이에요.

두 선이 벌어지기 시작하는 지점이 멈출 자리예요. 이 지점을 눈으로 확인하려면 바퀴마다 두 성적을 모두 재서 나란히 적어 두어야 해요.

떼어 둔 자료는 학습에 절대 쓰지 않아요. 한 번이라도 학습에 섞이면 그 자료 성적도 함께 좋아져서 꺾이는 지점이 보이지 않게 되거든요. 조기 종료가 제대로 작동하려면 이 자료를 깨끗하게 지켜 두는 일이 먼저예요.

바로 멈추지는 않아요

떼어 둔 자료의 성적은 조금씩 출렁여요. 자료 묶음이 매번 다르게 짜이니까 한두 바퀴 나빠졌다가 다시 좋아지는 일이 흔해요. 첫 하락에 곧바로 멈추면 아직 더 내려갈 수 있는 학습을 일찍 끊어 버려요.

그래서 몇 바퀴를 지켜볼지 미리 정해 둬요. 최고 기록이 나온 뒤로 그만큼 바퀴가 지나도록 기록이 깨지지 않으면 그때 멈춰요. 이 여유를 짧게 잡으면 성급하게 끊기고, 길게 잡으면 필요 없는 학습을 오래 끌어요.

가장 좋았던 지점으로 되돌려요

멈춘 시점의 상태를 그대로 쓰면 손해예요. 최고 기록이 나온 뒤 몇 바퀴를 더 돌았으니, 마지막 상태는 이미 조금 나빠진 상태거든요.

그래서 학습 도중 기록이 깨질 때마다 그때의 값들을 따로 저장해 둬요. 멈춘 뒤에는 저장해 둔 것 중 가장 좋았던 상태를 꺼내 쓰죠. 커피로 치면 맛이 꺾인 뒤에 다이얼을 최고였던 굵기로 되돌리는 일과 같아요.

저장은 기록이 깨질 때만 하면 돼요. 매 바퀴 전부 남겨 두면 저장 공간이 금방 차거든요. 큰 모델일수록 한 번 저장하는 데 드는 용량이 커서, 무엇을 언제 남길지 정해 두는 일이 학습 설정의 한 부분이 돼요.

왜 이 방법이 널리 쓰이나요

조기 종료는 손볼 것이 거의 없어요. 지켜볼 바퀴 수 하나만 정하면 끝이고, 모델 구조를 건드리지 않아요. 그런데도 과적합을 눈에 띄게 줄여 줘요. 값이 커질 시간을 주지 않는다는 점에서 벌점을 매기는 방식과 비슷한 효과를 내요.

학습 시간을 아껴 준다는 장점도 커요. 바퀴 수를 넉넉하게 적어 두고 조기 종료를 걸어 두면, 실제로 필요한 만큼만 돌고 알아서 끝나요. 값이 커지지 않게 벌점을 매기는 방식이나 일부를 무작위로 쉬게 하는 방식과 함께 걸어 두는 것이 보통이에요.