과적합Overfitting

문제집, 쪽지시험, 시험지

AI를 학습시킬 때 가진 데이터를 한 덩어리로 쓰지 않아요. 대략 8 대 1 대 1 비율로 셋으로 갈라요. 훈련 데이터는 모델이 실제로 보고 배우는 문제집이에요. 검증 데이터는 학습 도중에 치르는 쪽지시험이고요. 언제 멈출지, 층을 몇 개 쌓을지 같은 결정을 이 점수를 보고 내려요. 테스트 데이터는 다 끝난 뒤 딱 한 번 꺼내는 시험지예요.

왜 굳이 이렇게 나눌까요. 훈련 데이터로 채점하는 건 답안지를 펴 놓고 채점하는 것과 같기 때문이에요. 외운 모델도 만점이 나와요. 그런데 검증 데이터만 두고 설정을 수십 번 고치다 보면, 이번에는 개발자가 검증 데이터에 맞춰 모델을 외우게 돼요. 그래서 끝까지 한 번도 보지 않은 시험지를 따로 남겨 둬요.

점수가 갈라지는 순간

학습이 진행되는 동안 훈련 손실과 검증 손실을 나란히 그려 보면 과적합이 눈에 보여요. 손실은 틀린 정도예요. 처음에는 둘 다 사이좋게 내려가요. 모델이 진짜 규칙을 배우고 있다는 뜻이에요.

그러다 어느 지점에서 갈라져요. 훈련 손실은 계속 바닥을 향해 내려가는데 검증 손실만 슬그머니 방향을 틀어 올라가요. 여기서부터 모델은 규칙이 아니라 훈련 데이터에만 있는 우연한 특징을 배우고 있어요. 두 선이 벌어지기 시작한 폭이 곧 과적합의 크기예요.

왜 외우는 쪽으로 기울까요

첫째는 모델이 데이터에 비해 너무 복잡할 때예요. 조절할 수 있는 값이 수백만 개인데 예시가 수백 장뿐이면, 공통 규칙을 찾는 것보다 예시를 하나씩 담아 두는 편이 손실을 줄이는 더 빠른 길이 돼요.

둘째는 데이터가 적거나 한쪽으로 치우쳤을 때예요. 학습에 쓴 고양이 사진이 모두 소파 위에서 찍혔다면, 모델은 소파 무늬까지 고양이의 조건으로 기억해요. 잔디밭에 앉은 고양이를 만나면 자신 없어 하죠.

셋째는 같은 데이터를 너무 오래 반복해서 볼 때예요. 처음 몇 바퀴는 실력이 쑥쑥 늘어요. 그 뒤로는 사진에 섞인 얼룩이나 조명 같은 잡음까지 규칙으로 받아들이기 시작해요.

외우지 못하게 막는 네 가지

조기 종료는 검증 점수가 더 나아지지 않으면 학습을 그 자리에서 멈추는 방법이에요. 두 선이 갈라지는 지점이 정확히 멈출 자리예요. 정규화는 특정 값이 지나치게 커지면 벌점을 주어, 모델이 한 가지 단서에만 크게 기대지 못하게 눌러요.

드롭아웃은 학습할 때마다 뉴런 일부를 무작위로 꺼 버려요. 어느 뉴런이 빠질지 모르니 특정 뉴런 하나에 답을 몰아서 기억해 둘 수가 없어요. 데이터 증강은 사진을 뒤집고 돌리고 밝기를 바꿔 문제집 자체를 늘려요. 물론 가장 확실한 방법은 새 데이터를 더 모으는 거예요.

반대쪽 실수와 진짜 목표

반대 방향으로 넘어질 수도 있어요. 모델이 너무 단순해서 훈련 데이터조차 못 맞히는 상태를 과소적합이라고 해요. 이때는 훈련 점수부터 낮아서 구별하기 쉬워요. 더 크게 만들거나 더 오래 학습시키면 돼요.

좋은 모델은 이 둘 사이 어딘가에 있어요. 훈련 점수와 검증 점수가 나란히 높은 지점이요. 우리가 원하는 건 문제집을 잘 푸는 능력이 아니라 처음 보는 문제를 푸는 능력이에요. 그 능력을 일반화라고 불러요.