학습률Learning Rate

방향과 폭은 다른 사람이 정해요

학습은 두 가지를 정해야 한 걸음이 완성돼요. 어느 쪽으로 갈지와 얼마나 갈지예요. 앞의 것은 지금 자리의 기울기를 계산해서 나오고, 뒤의 것은 사람이 미리 적어 둔 숫자에서 나와요. 이 숫자가 학습률이에요.

그래서 학습률은 자료를 아무리 많이 넣어도 저절로 좋아지지 않아요. 모델이 학습으로 알아서 바꾸는 값이 아니라, 학습을 시작하기 전에 사람이 골라 넣는 값이기 때문이에요. 이런 값을 하이퍼파라미터라고 부르는데, 그중에서도 결과가 가장 크게 흔들리는 것이 학습률이에요.

기울기에는 방향뿐 아니라 가파른 정도도 함께 담겨 있어요. 그래서 같은 학습률이어도 가파른 자리에서는 크게, 완만한 자리에서는 작게 움직여요. 학습률은 그 위에 한 번 더 곱해지는 배율에 가까워요.

너무 크면 바닥을 지나쳐요

폭이 지나치게 크면 낮은 자리를 밟지 못하고 건너뛰어요. 왼쪽 비탈에서 크게 한 걸음 내디뎠는데 오른쪽 비탈 중턱에 서 있는 식이에요. 거기서 다시 내리막 쪽으로 크게 옮기면 이번에는 왼쪽 비탈로 넘어가요.

이 왕복이 걸음마다 조금씩 커지면 오차가 오히려 올라가요. 학습 화면에서 오차 숫자가 줄다가 갑자기 치솟거나 아예 숫자가 아닌 값으로 튀어 버리는 일이 생기는데, 학습률이 큰 것이 가장 흔한 원인이에요.

학습이 시작하자마자 망가졌다면 다른 설정을 손보기 전에 학습률부터 절반으로 낮춰 보는 것이 순서예요. 폭을 줄이는 것만으로 되살아나는 경우가 많거든요.

너무 작으면 하루가 모자라요

폭이 지나치게 작으면 걸음마다 오차가 아주 조금씩만 줄어요. 방향은 늘 맞으니 안전해 보이지만, 쓸 만한 자리까지 가는 데 걸리는 시간이 몇 배로 늘어나요. 학습에 드는 시간과 비용이 그만큼 커져요.

더 곤란한 건 중간에 만난 얕은 자리를 넘어가지 못한다는 점이에요. 조금만 세게 밀면 넘어갈 턱인데도 폭이 작아 계속 제자리에서 오르내리다 학습이 끝나 버려요. 오차가 어느 값에서 딱 멈춘 채 더 내려가지 않는다면 폭을 키워 볼 때예요.

처음엔 크게, 나중엔 잘게

그래서 학습률을 하나로 고정하지 않고 학습이 진행되는 동안 바꿔 가는 방법을 많이 써요. 처음에는 큼직하게 밀어 넓은 자리를 빠르게 훑고, 낮은 자리에 가까워지면 폭을 줄여 조심스럽게 마무리해요.

시작할 때 아주 작은 폭으로 몸을 풀었다가 서서히 올린 뒤 다시 줄여 가는 방식도 흔해요. 큰 모델에서는 첫 몇 걸음이 크게 튀면 그 뒤가 통째로 망가지기 때문이에요. 걸음의 요령을 통째로 손보는 옵티마이저와 함께 쓰면, 방향마다 폭이 알아서 조절되기도 해요.