지역 최솟값Local Minimum

내리막 쪽으로만 움직이는 규칙

학습은 지금 자리에서 어느 방향이 내리막인지 재고, 그쪽으로 조금 옮기는 일을 반복해요. 이 방법의 좋은 점은 지형 전체를 몰라도 된다는 거예요. 발밑의 기울기만 재면 되니까 값이 아무리 많아도 다룰 수 있어요.

대신 발밑만 보는 대가를 치러요. 지금 자리에서 모든 방향이 오르막이면 움직임이 멈춰요. 그 너머에 훨씬 깊은 골짜기가 있는지는 발밑 기울기에 담겨 있지 않아요. 마당의 물이 팬 자리를 넘어 하수구까지 가지 못하는 이유와 똑같아요.

웅덩이 안에서는 알 수 없어요

갇혔다는 사실을 알아채기 어려운 것이 이 문제의 골치 아픈 점이에요. 손실이 더 내려가지 않고 잠잠해지는 모습은 학습이 잘 끝난 모습과 구별되지 않아요. 화면에 뜨는 숫자만으로는 "다 왔다"와 "여기 갇혔다"가 같아 보여요.

그래서 실무에서는 절대 점수를 봐요. 손실이 멈췄더라도 그 값이 기대보다 한참 높으면 웅덩이를 의심해요. 같은 설정으로 여러 번 돌려 봤을 때 어떤 판은 훨씬 좋은 점수에서 끝난다면 더 확실한 신호예요. 낮은 자리 하나만 놓고는 판단할 수 없고, 여러 자리를 견줘야 알 수 있어요.

웅덩이를 넘는 방법들

첫째는 시작 자리를 바꾸는 방법이에요. 처음 값을 무작위로 여러 벌 만들어 각각 돌린 뒤 가장 좋은 결과를 골라요. 마당 여기저기에 물을 부어 보는 셈이에요.

둘째는 관성을 붙이는 방법이에요. 지금까지 내려오던 방향의 기세를 얼마간 이어받게 하면, 얕게 팬 자리는 속도를 못 이기고 그대로 지나쳐요. 굴러 내려오던 구슬이 작은 홈을 타고 넘는 것과 같아요.

셋째는 일부러 흔드는 방법이에요. 자료를 한 번에 다 쓰지 않고 조금씩 나눠 쓰면 매번 기울기가 미세하게 달라져요. 이 흔들림이 얕은 자리에서 밀어내 주는 역할을 해요. 걸음 크기를 처음에는 크게 두었다가 뒤로 갈수록 줄이는 방식도 같은 효과를 노려요.

큰 모델에서는 이야기가 조금 달라요

값이 두세 개뿐이라면 마당 그림이 그대로 맞아요. 그런데 실제 모델은 조절할 값이 수백만 개예요. 이런 곳에서 어떤 자리가 진짜 웅덩이가 되려면 수백만 방향이 하나도 빠짐없이 오르막이어야 해요. 그런 자리는 생각보다 드물어요.

훨씬 자주 만나는 건 어떤 방향은 오르막이고 어떤 방향은 내리막인 어정쩡한 자리예요. 이런 곳에서는 기울기가 거의 0이라 한동안 진도가 안 나가지만, 결국은 내리막 방향을 찾아 빠져나가요. 그래서 큰 모델에서 학습이 멈춘 듯 보일 때는 대개 영영 갇힌 게 아니라 잠시 느려진 상태예요.