하이퍼파라미터Hyperparameter

1시작 버튼을 누르기 전에 정하는 것들

가장 중요한 다이얼은 한 걸음의 크기예요. 틀린 만큼 값을 고칠 때 얼마나 크게 옮길지를 정하는 값이고, 너무 크면 목표를 지나쳐 튀고 너무 작으면 한없이 느려져요. 세탁기로 치면 물살의 세기에 해당해요.

몇 바퀴를 돌릴지도 미리 정해요. 짧으면 덜 배우고 길면 자료를 외워 버려요. 한 번에 몇 개씩 묶어서 볼지도 정해야 해요. 묶음이 크면 계산이 안정되지만 메모리를 많이 쓰고, 작으면 흔들리는 대신 얕은 자리를 잘 빠져나와요.

모델의 생김새도 다이얼이에요. 층을 몇 개 쌓을지, 한 층에 몇 개를 둘지, 학습할 때 몇 퍼센트를 무작위로 꺼 둘지, 값이 커지지 않도록 얼마나 세게 누를지 같은 것들이요. 이 값들은 학습이 만들어 주지 않아요. 사람이 적어 넣어야 학습이 시작돼요.

2학습이 정하는 값과 자리가 달라요

모델 안에는 학습이 스스로 값을 정하는 숫자가 따로 있어요. 그것을 파라미터라고 불러요. 파라미터는 작은 모델이면 수십 개, 큰 모델이면 수억 개를 훌쩍 넘을 만큼 많아서 사람이 하나하나 손댈 수 없어요.

하이퍼파라미터는 그보다 한 칸 위에 있어요. 파라미터가 세탁조 안에서 옷이 뒤집히고 헹궈지는 일이라면, 하이퍼파라미터는 그 일이 어떻게 벌어질지를 미리 정하는 다이얼이에요. 개수는 파라미터보다 훨씬 적어서 많아야 수십 개 정도이고, 그중 결과를 크게 좌우하는 몇 개를 사람이 공들여 골라요. 이름이 헷갈려서 자주 섞이지만, 값이 학습 도중에 고쳐지느냐, 학습 바깥에서 미리 주어지느냐만 보면 바로 갈려요.

3좋은 조합을 찾는 방법

한 번에 맞히기는 어려워요. 다이얼이 서로 영향을 주고받기 때문이에요. 물 온도를 올리면 세탁 시간을 줄여도 되는 것처럼, 걸음을 크게 잡으면 바퀴 수를 줄여도 되는 식이에요.

그래서 여러 판을 돌려 봐요. 값 몇 개를 후보로 정해 두고 조합을 빠짐없이 돌려 보는 방법이 가장 단순해요. 후보 조합이 너무 많아지면 무작위로 골라 돌리기도 하는데, 어떤 다이얼은 결과에 거의 영향이 없어서 오히려 이쪽이 효율적일 때가 많아요. 앞선 결과를 참고해 다음에 시도할 조합을 좁혀 가는 방법도 있고요.

한 판이 오래 걸릴수록 요령이 필요해요. 자료를 조금만 써서 짧게 돌려 대략의 감을 잡은 다음, 유망한 조합만 전부 돌리는 식으로 순서를 잡아요.

4무엇으로 재서 고르느냐

여러 판을 돌린 뒤 무엇을 기준으로 고를지가 마지막 관문이에요. 훈련 자료 점수로 고르면 안 돼요. 자료를 외운 판이 이기기 쉬우니까요. 그래서 따로 떼어 둔 검증 자료로 재서 골라요.

여기에도 함정이 있어요. 같은 검증 자료로 수십 번 고르다 보면 그 자료에만 잘 맞는 조합이 뽑혀요. 사람 손을 거쳐 검증 자료를 외운 셈이에요. 그래서 마지막 시험지 역할을 할 자료는 다이얼을 고르는 동안 한 번도 열어 보지 않고 남겨 둬요.