수렴Convergence
더 나아지지 않고 값이 한자리에 머무는 상태
- 수렴은 학습을 더 돌려도 값이 거의 달라지지 않고 한자리에 머무는 상태예요.
- 나아지는 폭은 처음에 크고 뒤로 갈수록 작아져요. 그래서 그래프가 가파르게 내려오다 평평해져요.
- "다 됐다"는 판정은 눈짐작이 아니라 최근 몇 회 동안의 변화 폭을 정해 둔 기준과 견줘서 내려요.
- 값이 가라앉지 않고 계속 튀거나 오히려 커지면 수렴하지 않은 거예요. 한 걸음이 너무 클 때 주로 그래요.
- 수렴했다는 말은 멈췄다는 뜻이지 가장 좋은 자리에 닿았다는 뜻이 아니에요.
목차
1비유로 이해하기
흙탕물을 정수장 침전지에 받아 가만히 두면 무거운 흙부터 바닥으로 내려앉아요. 물을 받은 직후에는 탁도를 재는 계기 바늘이 쭉쭉 떨어져요. 한 시간쯤 지나면 떨어지는 폭이 눈에 띄게 줄고, 반나절이 지나면 아침에 잰 값과 저녁에 잰 값이 거의 같아져요. 하루를 더 기다려도 바늘은 그 자리에 머물러요. 가라앉을 것이 이미 다 가라앉았기 때문이에요.
이때 관리자는 "더 기다려도 소용없다"고 판단하고 다음 공정으로 물을 넘겨요. 바늘이 멈춘 자리가 곧 이 침전지가 낼 수 있는 결과예요. 학습이 수렴했다는 말이 이 장면과 같아요. 더 돌려도 숫자가 달라지지 않으니 이제 멈출 때라는 뜻이에요.
2자세히 알아보기
처음엔 크게, 나중엔 조금씩
학습은 틀린 정도를 재고 그만큼 값을 옮기는 일을 반복해요. 처음에는 값이 엉뚱한 자리에 있으니 틀린 정도가 크고, 옮겨야 할 거리도 멀어요. 그래서 첫 몇 바퀴에서 손실이 뚝뚝 떨어져요.
어느 정도 자리를 잡으면 사정이 달라져요. 남은 오차는 작고, 오차가 작으면 옮기라고 나오는 신호도 함께 작아져요. 걸음의 크기가 스스로 줄어드는 셈이라 뒤로 갈수록 나아지는 폭이 얇아져요. 침전지에서 무거운 흙이 먼저 내려앉고 남은 미세한 알갱이는 좀처럼 내려오지 않는 것과 같아요.
다 됐다는 것을 어떻게 아나요
수렴 판정은 그래프를 눈으로 보고 내리지 않아요. 기준을 미리 정해 둬요. 최근 몇 바퀴 동안 손실이 줄어든 폭이 정해 둔 값보다 작으면 수렴했다고 보는 식이에요. 한 번만 보고 판단하지 않고 연속으로 몇 번을 확인하는 이유는, 한 바퀴만 우연히 잠잠할 수도 있기 때문이에요.
실무에서는 훈련 손실만 보지 않고 처음 보는 자료로 잰 점수도 같이 봐요. 훈련 손실은 계속 조금씩 내려가는데 처음 보는 자료의 점수가 더 이상 좋아지지 않으면, 남은 하강은 외우기에 가까워요. 그래서 두 값이 모두 잠잠해지는 지점을 멈출 자리로 잡아요.
가라앉지 않고 계속 흔들릴 때
값이 도무지 자리를 잡지 못하는 경우도 있어요. 손실이 내려가다 튀어 오르기를 반복하거나, 아예 점점 커지다가 계산이 깨지기도 해요. 침전지 물을 가만두지 않고 세게 저어 버리면 가라앉던 흙까지 다시 떠오르는 것과 같은 일이에요.
가장 흔한 원인은 한 걸음이 너무 큰 거예요. 목표 자리를 향해 가긴 하는데 매번 지나쳐 버려서 반대편으로 넘어가요. 걸음 크기를 줄이거나, 뒤로 갈수록 걸음을 점점 작게 만드는 방식으로 잡아요. 값의 크기를 미리 고르게 다듬어 주거나, 지나치게 커진 신호를 잘라 내는 방법도 함께 써요.
멈춘 것과 다 좋아진 것은 달라요
수렴은 "더 안 변한다"는 사실만 알려 줘요. 그 자리가 좋은 자리인지는 말해 주지 않아요. 침전지 물이 더 맑아지지 않는다고 해서 마실 만큼 맑다는 뜻은 아니잖아요. 남은 탁도가 기준보다 높으면 약품을 바꾸거나 공정을 늘려야 해요.
학습도 같아요. 수렴한 뒤 점수가 여전히 낮다면 더 오래 돌릴 일이 아니라 다른 걸 바꿔야 한다는 신호예요. 자료를 늘리거나, 모델을 키우거나, 시작 조건을 바꿔 다시 돌려요. 나쁜 자리에서 멈춰 버리는 상황을 따로 지역 최솟값이라고 부르고, 학습이 끝났다는 판단은 언제나 이 두 가지를 함께 확인한 뒤에 내려요.
3조금 더 정확하게
수렴(Convergence)은 반복을 거듭할수록 손실이나 파라미터의 변화량이 정해 둔 임계값 아래로 줄어들어 사실상 한 점에 머무는 상태를 말해요. 미니 배치로 학습하는 경우에는 배치마다 자료가 달라 신호에 잡음이 섞이기 때문에 값이 완전히 멈추지는 않고, 좁은 범위 안에서 계속 미세하게 흔들려요. 그래서 실제 판정은 "정확히 같아졌다"가 아니라 "변화 폭이 기준보다 작아졌다"로 내려요.
비유가 어긋나는 지점도 있어요. 침전지는 같은 물을 몇 번을 받아도 결국 비슷한 탁도에 닿지만, 학습은 시작값과 자료를 보여 준 순서에 따라 매번 다른 자리에 멈춰요. 같은 설정으로 두 번 돌려도 최종 점수가 조금씩 다른 이유예요. 또 침전은 시간이 지나면 저절로 진행되지만, 학습은 걸음 크기를 잘못 잡으면 아무리 오래 기다려도 영영 자리를 잡지 못해요.
4직접 해보기
5흔한 오해
수렴하면 정답에 도달한 것이라고 생각하기 쉽지만, 실제로는 그저 더 이상 달라지지 않는 자리에 멈춘 것이라 그 자리의 점수가 낮을 수도 있어요.
오래 돌릴수록 더 수렴한다고 여기기 쉽지만, 실제로는 잠잠해진 뒤로는 시간과 비용만 늘고 처음 보는 자료의 점수는 오히려 떨어지기도 해요.
손실이 0에 가까워야 수렴이다라고 믿기 쉽지만, 실제로는 자료에 섞인 잡음 때문에 손실은 어느 값 위에서 멈추는 것이 정상이에요.
7한 줄 요약
그러니까수렴은 학습을 더 돌려도 값이 달라지지 않고 한자리에 머무는 상태이고, 멈출 때를 알려 줄 뿐 그 자리가 최선인지는 따로 확인해야 해요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02