규제화Regularization

오차만 줄이면 값이 커져요

학습은 오차를 낮추는 방향으로만 움직여요. 그런데 자료에 있는 점 하나하나를 정확히 맞히려 들면, 답을 나타내는 선이 점 사이를 오가며 심하게 휘어요. 이렇게 휘려면 일부 값이 아주 커야 해요. 값이 커야 조금만 입력이 달라져도 결과가 크게 튀거든요.

이런 모델은 학습에 쓴 자료에서는 성적이 아주 좋아요. 하지만 처음 보는 자료가 들어오면 크게 틀려요. 자료에 섞인 잡음까지 통째로 따라 그렸기 때문이에요. 과적합이라고 부르는 상태가 이거예요.

값이 크다는 것은 그 값 하나에 결과가 크게 매달려 있다는 뜻이기도 해요. 그 특징이 조금만 달라져도 답이 흔들려요. 그래서 큰 값은 그 자체로 위태로운 신호예요.

크기에 벌점을 매겨요

정규화는 학습이 재는 손해에 항목 하나를 더해요. 지금까지는 "얼마나 틀렸나"만 봤다면, 이제 "값이 얼마나 큰가"도 함께 봐요. 두 항목을 합한 값을 낮추는 쪽으로 학습이 움직이죠.

그러면 값을 키워서 오차를 조금 줄이는 선택이 손해가 돼요. 오차가 크게 줄어드는 경우에만 값을 키우고, 그렇지 않으면 값을 작게 두는 쪽을 고르게 돼요. 결과적으로 답을 나타내는 선이 매끈해지고, 처음 보는 자료에서도 비슷한 성적이 나와요.

값을 옮기는 계산에도 이 항목이 그대로 반영돼요. 걸음마다 값이 조금씩 0 쪽으로 당겨지는 힘이 하나 더 붙는 셈이에요. 이 방식을 가중치 감쇠라고 부르기도 해요.

벌점의 세기를 정해요

추를 얼마나 무겁게 얹을지는 사람이 정해요. 이 값이 너무 작으면 벌점이 있으나 마나여서 값이 그대로 치솟아요. 반대로 너무 크면 모델이 값을 키우지 못해 자료에 있는 진짜 규칙까지 놓쳐요. 자료가 뻔한 답만 내놓는 상태가 되죠.

알맞은 세기는 자료 양과 모델 크기에 따라 달라져요. 자료가 적을수록 외워 버리기 쉬우니 벌점을 세게 걸고, 자료가 넉넉하면 약하게 걸어도 돼요. 실제로는 몇 가지 세기로 돌려 보고 따로 떼어 둔 자료에서 성적이 가장 좋은 값을 골라요.

벌점을 매기는 두 가지 방식

값의 크기를 재는 방법에 따라 결과가 달라져요. 값을 제곱해서 더하는 방식은 큰 값에 특히 무거운 벌점을 매겨요. 값들이 전체적으로 작아지지만 0 이 되지는 않고, 여러 값이 고르게 조금씩 일을 나눠 갖게 돼요.

값의 크기를 그대로 더하는 방식은 성격이 달라요. 쓸모가 적은 값을 아예 0 으로 눌러 버려서, 실제로 쓰이는 값의 개수 자체가 줄어요. 어떤 특징이 쓸모없는지 가려내고 싶을 때 이 방식을 골라요. 두 가지를 섞어 쓰기도 해요.