하이퍼파라미터Hyperparameter

시작 버튼을 누르기 전에 정하는 것들

가장 중요한 다이얼은 한 걸음의 크기예요. 틀린 만큼 값을 고칠 때 얼마나 크게 옮길지를 정하는 값이고, 너무 크면 목표를 지나쳐 튀고 너무 작으면 한없이 느려져요. 세탁기로 치면 물살의 세기에 해당해요.

몇 바퀴를 돌릴지도 미리 정해요. 짧으면 덜 배우고 길면 자료를 외워 버려요. 한 번에 몇 개씩 묶어서 볼지도 정해야 해요. 묶음이 크면 계산이 안정되지만 메모리를 많이 쓰고, 작으면 흔들리는 대신 얕은 자리를 잘 빠져나와요.

모델의 생김새도 다이얼이에요. 층을 몇 개 쌓을지, 한 층에 몇 개를 둘지, 학습할 때 몇 퍼센트를 무작위로 꺼 둘지, 값이 커지지 않도록 얼마나 세게 누를지 같은 것들이요. 이 값들은 학습이 만들어 주지 않아요. 사람이 적어 넣어야 학습이 시작돼요.

학습이 정하는 값과 자리가 달라요

모델 안에는 학습이 스스로 값을 정하는 숫자가 따로 있어요. 그것을 파라미터라고 불러요. 파라미터는 사람이 손댈 필요가 없고 손댈 수도 없을 만큼 많아요. 수억 개가 넘거든요.

하이퍼파라미터는 그보다 한 칸 위에 있어요. 파라미터가 세탁조 안에서 옷이 뒤집히고 헹궈지는 일이라면, 하이퍼파라미터는 그 일이 어떻게 벌어질지를 미리 정하는 다이얼이에요. 개수도 훨씬 적어서 보통 열 개 안팎이고, 사람이 하나하나 고민해서 적어요. 이름이 헷갈려서 자주 섞이지만, 값을 누가 정하느냐만 보면 바로 갈려요.

좋은 조합을 찾는 방법

한 번에 맞히기는 어려워요. 다이얼이 서로 영향을 주고받기 때문이에요. 물 온도를 올리면 세탁 시간을 줄여도 되는 것처럼, 걸음을 크게 잡으면 바퀴 수를 줄여야 하는 식이에요.

그래서 여러 판을 돌려 봐요. 값 몇 개를 후보로 정해 두고 조합을 빠짐없이 돌려 보는 방법이 가장 단순해요. 후보 조합이 너무 많아지면 무작위로 골라 돌리기도 하는데, 어떤 다이얼은 결과에 거의 영향이 없어서 오히려 이쪽이 효율적일 때가 많아요. 앞선 결과를 참고해 다음에 시도할 조합을 좁혀 가는 방법도 있고요.

한 판이 오래 걸릴수록 요령이 필요해요. 자료를 조금만 써서 짧게 돌려 대략의 감을 잡은 다음, 유망한 조합만 전부 돌리는 식으로 순서를 잡아요.

무엇으로 재서 고르느냐

여러 판을 돌린 뒤 무엇을 기준으로 고를지가 마지막 관문이에요. 훈련 자료 점수로 고르면 안 돼요. 자료를 외운 판이 항상 이기니까요. 그래서 따로 떼어 둔 검증 자료로 재서 골라요.

여기에도 함정이 있어요. 같은 검증 자료로 수십 번 고르다 보면 그 자료에만 잘 맞는 조합이 뽑혀요. 사람 손을 거쳐 검증 자료를 외운 셈이에요. 그래서 마지막 시험지 역할을 할 자료는 다이얼을 고르는 동안 한 번도 열어 보지 않고 남겨 둬요.