기울기Gradient
오차를 줄이려면 어느 쪽으로 얼마나 움직일지 알려 주는 신호
- 기울기는 손잡이를 어느 쪽으로 얼마나 돌려야 오차가 줄어드는지 알려 주는 신호예요.
- 방향과 세기가 한 덩어리로 붙어 나와요. 부호는 어느 쪽인지, 크기는 얼마나 급한지를 말해요.
- 모델이 가진 손잡이 하나마다 기울기가 하나씩 나와요. 손잡이가 수억 개면 기울기도 수억 개예요.
- 기울기는 지금 서 있는 자리에서만 맞는 안내예요. 한 걸음 움직이면 처음부터 다시 재야 해요.
- 기울기가 0에 가까워지면 더 배울 것이 없거나, 배울 길이 막힌 상태예요.
목차
1비유로 이해하기
욕실 샤워기 앞에 서면 손잡이가 둘이에요. 온수 쪽 하나, 냉수 쪽 하나. 지금 물이 미지근해서 조금 더 뜨겁게 하고 싶어요. 온수 손잡이를 살짝 돌려 보니 손등에 닿는 물이 확 뜨거워져요. 냉수 손잡이는 한참 돌려도 온도가 겨우 조금 움직이고요.
이때 손등이 알아낸 것이 기울기예요. 손잡이를 조금 건드렸을 때 물 온도가 어느 쪽으로, 얼마나 움직이는가. 온수 손잡이는 기울기가 크고 냉수 손잡이는 작아요. 그러니 온수는 아주 조금만, 냉수는 큼직하게 돌리는 것이 맞아요.
이 값은 손잡이마다 따로 나와요. 그리고 물 온도가 한 번 바뀌면 어느 손잡이가 더 예민한지도 달라져서, 다시 손을 대 보고 새로 재야 해요.
2자세히 알아보기
무엇이 얼마나 틀렸는지부터 정해요
기울기는 혼자 생기지 않아요. "지금이 얼마나 틀렸는가"를 재는 자가 먼저 있어야 해요. 샤워기라면 원하는 온도와 실제 온도의 차이가 그 자예요. 모델이라면 정답과 예측이 얼마나 벌어졌는지를 숫자 하나로 요약한 값이 그 자리를 맡아요.
이 값이 작아지는 쪽이 내리막이에요. 기울기는 그 내리막이 어느 쪽인지 알려 줄 뿐, 바닥이 어디인지까지는 알려 주지 않아요. 발밑 경사만 아는 안내인 셈이에요. 그래서 학습은 한 번에 정답으로 뛰어드는 일이 아니라, 발밑을 재고 한 걸음 옮기기를 수십만 번 되풀이하는 일이 돼요.
손잡이마다 기울기가 따로 나와요
샤워기 손잡이는 둘뿐이지만 모델에는 학습으로 조절되는 숫자가 수억 개씩 있어요. 기울기는 그 숫자 하나하나마다 따로 나와요. 어떤 숫자는 조금만 건드려도 오차가 크게 흔들리고, 어떤 숫자는 한참 바꿔도 결과가 거의 그대로예요.
한 번의 계산으로 이 많은 신호를 전부 얻어요. 손잡이를 하나씩 돌려 보며 확인하는 것이 아니라, 답을 낸 경로를 거꾸로 따라 내려가면서 모든 숫자의 몫을 한꺼번에 나눠 받는 방식이에요. 이 되짚어 내려가는 과정이 역전파고요.
크기가 얼마나 돌릴지를 정해요
기울기가 크다는 것은 그 손잡이가 결과에 크게 관여한다는 뜻이에요. 온수 손잡이처럼요. 그래서 기울기가 큰 숫자는 크게, 작은 숫자는 조금만 바꿔요. 다만 기울기를 그대로 믿고 그만큼 움직이지는 않아요. 한 걸음의 보폭을 정하는 값을 따로 두고 곱해서 옮겨요.
보폭이 너무 크면 알맞은 온도를 지나쳐 반대쪽으로 훌쩍 넘어가고, 그다음 걸음에서 다시 반대로 넘어가며 물이 뜨거웠다 차가웠다만 반복해요. 반대로 보폭이 너무 작으면 온도가 거의 안 변해서 하루 종일 손잡이만 만지게 되고요.
한 걸음마다 다시 재요
한 번 잰 기울기는 딱 그 자리에서만 유효해요. 손잡이를 돌리고 나면 물 온도가 달라졌으니, 이제 어느 손잡이가 더 예민한지도 달라져요. 그래서 모델은 걸음마다 기울기를 새로 구해요.
게다가 매번 전체 데이터를 다 보고 재지 않고 일부만 뽑아서 재요. 그래서 기울기는 매번 조금씩 흔들리는 어림값이에요. 흔들림이 있는데도 방향이 대체로 맞아서, 여러 걸음을 이어 걸으면 결국 낮은 쪽으로 내려가요.
기울기가 0에 가까워질 때
기울기가 거의 0이면 세 가지 경우예요. 정말 바닥에 닿아 더 줄일 오차가 없거나, 주변이 평평해서 어느 쪽으로 가도 나아지지 않거나, 신호가 그 층까지 닿지 않아 들리지 않는 것이거나.
앞의 둘은 학습을 멈추거나 보폭을 바꿔 빠져나오지만, 마지막은 다른 문제예요. 층을 거치는 동안 신호가 점점 희미해져 입력 쪽 층이 아무것도 듣지 못하는 상태를 기울기 소실이라고 불러요.
3조금 더 정확하게
기울기는 손실 함수를 각 파라미터로 미분한 값들을 한 줄로 모아 놓은 벡터예요. 값 하나하나는 "그 파라미터를 아주 조금 키웠을 때 손실이 얼마나 늘어나는가"를 뜻해요. 그래서 실제 학습에서는 기울기의 반대 방향으로 움직여요.
비유가 어긋나는 지점도 있어요. 사람은 손잡이를 실제로 돌려 보고 온도를 확인하지만, 모델은 돌려 보지 않아요. 답을 내는 계산이 어떤 순서로 이어졌는지 기록해 두었다가 그 길을 거꾸로 훑으며 계산으로 구해요. 손잡이가 수억 개여도 한 번의 되짚기로 전부 얻는 이유예요.
또 하나, 샤워기는 손잡이 둘이 서로 독립적으로 느껴지지만 모델의 숫자들은 서로 얽혀 있어요. 한 숫자를 바꾸면 다른 숫자의 기울기도 같이 달라져요. 기울기가 알려 주는 것은 어디까지나 지금 이 자리에서의 아주 작은 변화에 대한 안내라서, 크게 움직이면 그 안내는 더 이상 맞지 않아요.
4직접 해보기
5흔한 오해
기울기가 클수록 학습이 잘된다고 생각하기 쉽지만, 실제로는 너무 크면 한 걸음이 과해져 값이 튀어 오르고 학습이 망가지기도 해요.
기울기는 방향만 알려 준다고 여기기 쉽지만, 실제로는 방향과 함께 얼마나 급한지도 담고 있어서 걸음 크기를 정하는 데 함께 쓰여요.
기울기가 0이면 정답에 도착한 것이라고 생각하기 쉽지만, 실제로는 평평한 지대에 갇혔거나 신호가 그 층까지 닿지 않은 경우도 많아요.
7한 줄 요약
그러니까기울기는 모델의 숫자 하나하나에게 어느 쪽으로 얼마나 움직여야 오차가 줄어드는지 알려 주는 신호예요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02