층 정규화Layer Normalization

눈금이 어긋나면 학습이 멈춰요

층이 깊어질수록 문제가 커져요. 한 층에서 숫자가 1.5배로 부풀어 오르는 습관이 생기면, 층을 스무 번 지나는 동안 그 습관이 곱해져서 처음의 수천 배가 돼요. 반대로 매 층에서 조금씩 줄어들면 마지막 층에 닿을 무렵에는 거의 0이에요.

학습은 마지막에서 처음 방향으로 오차를 되돌리며 이뤄지는데, 되돌아가는 값도 똑같은 곱셈을 겪어요. 그래서 앞쪽 층은 아무 신호도 못 받거나 감당하지 못할 크기의 신호를 받아요. 앞쪽 층이 배우지 못하면 깊게 쌓은 의미가 사라져요.

층 정규화는 이 곱셈이 쌓이지 못하게 매 층에서 눈금을 원위치로 돌려놔요. 덕분에 층을 수십 겹 쌓아도 첫 층과 마지막 층이 비슷한 크기의 숫자를 다뤄요.

기준은 한 자리 안에서만

여기서 말하는 한 자리는 문장 속 조각 하나가 들고 있는 숫자 묶음이에요. 언어 모델은 조각마다 수천 개의 숫자를 들고 다녀요. 층 정규화는 그 수천 개 안에서만 평균과 폭을 구해요.

옆을 보지 않는다는 점이 중요해요. 한 번에 몇 개의 문장을 함께 계산하든, 문장이 길든 짧든, 각 자리는 자기 숫자만 보고 눈금을 맞춰요. 그래서 문장 하나만 넣어 답을 만들 때도 학습할 때와 똑같이 동작해요.

길이가 제각각인 글을 다루는 모델에서 이 성질은 특히 유리해요. 여러 예시를 가로질러 평균을 내는 방식은 짧은 글과 긴 글이 섞이면 기준이 흔들리거든요.

되돌릴 손잡이 두 개

눈금을 강제로 맞추면 모델이 애써 만들어 낸 크기 차이가 지워질 수 있어요. 그래서 정규화 뒤에는 손잡이가 두 개 붙어요. 하나는 폭을 다시 늘리거나 줄이고, 다른 하나는 전체를 위아래로 옮겨요.

이 손잡이는 사람이 정하지 않고 학습으로 정해져요. 특정 자리의 차이를 크게 남기는 편이 유리하면 모델이 그 자리의 손잡이를 키워요. 정규화가 정보를 버리는 게 아니라, 출발선만 가지런히 해 두고 얼마나 벌릴지는 모델에게 맡기는 셈이에요.

층 앞에 둘까 뒤에 둘까

초기 구조는 층의 계산이 끝난 뒤에 정규화를 붙였어요. 이 배치는 층이 아주 깊어지면 학습 초반이 크게 흔들려서, 학습률을 아주 작게 시작해 천천히 올리는 준비 운동이 필요했어요.

요즘 많이 쓰는 배치는 반대예요. 층에 들어가기 전에 먼저 눈금을 맞추고, 층이 만든 결과는 건너뛰기 통로를 타고 온 손대지 않은 값에 더해요. 이렇게 하면 처음부터 끝까지 이어지는 통로가 깨끗하게 남아서 아주 깊은 모델도 안정적으로 학습돼요.

같은 장치라도 어디에 놓느냐에 따라 학습이 되고 안 되고가 갈리는 셈이에요. 눈금을 맞추는 계산 자체보다 어느 자리에 끼워 넣느냐가 더 큰 차이를 만들었다는 점이, 깊은 모델을 다루면서 얻은 교훈 가운데 하나예요.