핵심 정리
- 수렴은 학습을 더 돌려도 값이 거의 달라지지 않고 한자리에 머무는 상태예요.
- 나아지는 폭은 처음에 크고 뒤로 갈수록 작아져요. 그래서 그래프가 가파르게 내려오다 평평해져요.
- "다 됐다"는 판정은 흔히 최근 몇 회 동안의 변화 폭을 정해 둔 기준과 견줘서 내려요.
- 값이 가라앉지 않고 계속 튀거나 오히려 커지면 수렴하지 않은 거예요. 한 걸음이 너무 클 때 주로 그래요.
- 수렴했다는 말은 멈췄다는 뜻이지 가장 좋은 자리에 닿았다는 뜻이 아니에요.
비유로 이해하기
흙탕물을 큰 통에 받아 가만히 두면 무거운 흙부터 바닥으로 내려앉아요. 물을 받은 직후에는 탁도를 재는 계기 바늘이 쭉쭉 떨어져요. 한 시간쯤 지나면 떨어지는 폭이 눈에 띄게 줄고, 반나절이 지나면 아침에 잰 값과 저녁에 잰 값이 거의 같아져요. 하루를 더 기다려도 바늘은 그 자리에 머물러요. 가라앉을 것이 이미 다 가라앉았기 때문이에요.
이때 지켜보던 사람은 "더 기다려도 소용없다"고 판단하고 윗물을 따라 내요. 바늘이 멈춘 자리가 곧 이 통이 낼 수 있는 결과예요. 학습이 수렴했다는 말이 이 장면과 같아요. 더 돌려도 숫자가 달라지지 않으니 이제 멈출 때라는 뜻이에요.
자세히 알아보기
처음엔 크게, 나중엔 조금씩
학습은 틀린 정도를 재고 그만큼 값을 옮기는 일을 반복해요. 처음에는 값이 엉뚱한 자리에 있으니 틀린 정도가 크고, 옮겨야 할 거리도 멀어요. 그래서 첫 몇 바퀴에서 손실이 뚝뚝 떨어져요.
어느 정도 자리를 잡으면 사정이 달라져요. 남은 오차는 작고, 오차가 작으면 옮기라고 나오는 신호도 함께 작아져요. 걸음의 크기가 스스로 줄어드는 셈이라 뒤로 갈수록 나아지는 폭이 얇아져요. 통 속에서 무거운 흙이 먼저 내려앉고 남은 미세한 알갱이는 좀처럼 내려오지 않는 것과 같아요.
다 됐다는 것을 어떻게 아나요
수렴 판정은 눈짐작에만 기대지 않고 기준을 미리 정해 두기도 해요. 최근 몇 바퀴 동안 손실이 줄어든 폭이 정해 둔 값보다 작으면 수렴했다고 보는 식이에요. 한 번만 보고 판단하지 않고 연속으로 몇 번을 확인하는 이유는, 한 바퀴만 우연히 잠잠할 수도 있기 때문이에요. 평평해 보이던 손실이 한참 뒤 다시 내려가거나, 걸음 크기를 줄이는 순간 한 번 더 뚝 떨어지기도 해서 기준 횟수를 넉넉히 잡기도 해요.
실무에서는 훈련 손실만 보지 않고 처음 보는 자료로 잰 점수도 같이 봐요. 훈련 손실은 계속 조금씩 내려가는데 처음 보는 자료의 점수가 더 이상 좋아지지 않으면, 남은 하강은 외우기에 가까워요. 그래서 처음 보는 자료의 점수가 더 나아지지 않는 지점에서 멈추기도 해요. 이때는 훈련 손실이 완전히 잠잠해지기 전에 멈추는 셈이에요.
가라앉지 않고 계속 흔들릴 때
값이 도무지 자리를 잡지 못하는 경우도 있어요. 손실이 내려가다 튀어 오르기를 반복하거나, 아예 점점 커지다가 계산이 깨지기도 해요. 통의 물을 가만두지 않고 세게 저어 버리면 가라앉던 흙까지 다시 떠오르는 것과 같은 일이에요.
가장 흔한 원인은 한 걸음이 너무 큰 거예요. 목표 자리를 향해 가긴 하는데 매번 지나쳐 버려서 반대편으로 넘어가요. 걸음 크기를 줄이거나, 뒤로 갈수록 걸음을 점점 작게 만드는 방식으로 잡아요. 값의 크기를 미리 고르게 다듬어 주거나, 지나치게 커진 신호를 잘라 내는 방법도 함께 써요.
멈춘 것과 다 좋아진 것은 달라요
수렴은 "더 안 변한다"는 사실만 알려 줘요. 그 자리가 좋은 자리인지는 말해 주지 않아요. 통 속 물이 더 맑아지지 않는다고 해서 마실 만큼 맑다는 뜻은 아니잖아요. 남은 탁도가 기준보다 높으면 약품을 넣거나 한 번 더 걸러 내야 해요.
학습도 같아요. 수렴한 뒤 점수가 여전히 낮다면 더 오래 돌릴 일이 아니라 다른 걸 바꿔야 한다는 신호예요. 자료를 늘리거나, 모델을 키우거나, 시작 조건을 바꿔 다시 돌려요. 주변보다는 낮지만 가장 낮지는 않은 자리에 멈추는 것을 지역 최솟값이라고 하는데, 파라미터가 아주 많은 신경망에서는 나쁜 지역 최솟값에 갇히는 일이 생각보다 드물고, 자료나 모델의 표현력이 모자라 점수가 낮은 경우가 더 흔하다고 알려져 있어요. 그래서 학습을 끝낼 때는 값이 멈췄는지와 그 점수가 충분한지를 함께 확인해요.
조금 더 정확하게
수렴(Convergence)은 반복을 거듭할수록 손실이나 파라미터의 변화량이 정해 둔 임계값 아래로 줄어들어 사실상 한 점에 머무는 상태를 말해요. 미니 배치로 학습하는 경우에는 배치마다 자료가 달라 신호에 잡음이 섞이기 때문에 값이 완전히 멈추지는 않고, 좁은 범위 안에서 계속 미세하게 흔들려요. 그래서 실제 판정은 "정확히 같아졌다"가 아니라 "변화 폭이 기준보다 작아졌다"로 내려요.
비유가 어긋나는 지점도 있어요. 통은 같은 물을 몇 번을 받아도 결국 비슷한 탁도에 닿지만, 신경망 학습은 시작값과 자료를 보여 준 순서에 따라 매번 조금씩 다른 자리에 멈추곤 해요. 같은 설정으로 두 번 돌려도 최종 점수가 조금씩 다른 이유예요. 또 침전은 시간이 지나면 저절로 진행되지만, 학습은 걸음 크기를 잘못 잡으면 아무리 오래 기다려도 영영 자리를 잡지 못해요.
직접 해보기
흔한 오해
수렴하면 정답에 도달한 것이라고 생각하기 쉽지만, 실제로는 그저 더 이상 달라지지 않는 자리에 멈춘 것이라 그 자리의 점수가 낮을 수도 있어요.
오래 돌릴수록 더 수렴한다고 여기기 쉽지만, 실제로는 잠잠해진 뒤로는 시간과 비용만 늘고 처음 보는 자료의 점수는 오히려 떨어지기도 해요.
손실이 0에 가까워야 수렴이다라고 믿기 쉽지만, 실제로 수렴은 값이 더 변하지 않는다는 뜻일 뿐 0이 기준이 아니에요. 자료의 잡음이나 모델의 한계로 0보다 큰 값에서 멈추는 일도 흔하고, 반대로 큰 모델은 훈련 자료를 외워 손실을 0 가까이 낮추기도 해요.
한 줄 요약
수렴은 학습을 더 돌려도 값이 달라지지 않고 한자리에 머무는 상태이고, 멈출 때를 알려 줄 뿐 그 자리가 최선인지는 따로 확인해야 해요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정 2026-10-17