미니 배치Mini-Batch

한 포기씩도, 백 포기 한꺼번에도 아니에요

자료 한 장마다 값을 고치면 걸음은 아주 자주 밟지만 방향이 매번 크게 흔들려요. 유별난 자료 한 장이 통째로 방향을 결정해 버리거든요. 계산 효율도 나빠요. 한 장씩 처리하면 여러 계산을 한꺼번에 몰아서 하는 장치의 힘을 거의 못 써요.

반대로 자료 전부를 보고 한 번만 고치면 방향은 아주 정확해요. 대신 자료가 수백만 장이면 한 걸음을 떼는 데 한참이 걸리고, 그 자료를 전부 메모리에 올릴 수도 없어요.

묶음으로 나누면 두 가지를 다 얻어요. 묶음 안에서 평균을 내니 방향이 크게 흔들리지 않고, 묶음이 끝날 때마다 걸음을 떼니 진행이 빨라요. 오늘날 거의 모든 학습이 이 방식으로 돌아가요.

묶음 크기를 무엇으로 정하나요

첫 번째 기준은 메모리예요. 묶음 안 자료를 한꺼번에 계산하려면 자료도, 중간 결과도 모두 올려 둬야 해요. 묶음을 두 배로 키우면 필요한 메모리도 대략 두 배가 돼요. 학습 도중 메모리가 모자란다는 오류를 만나면 가장 먼저 줄이는 것이 묶음 크기예요.

두 번째 기준은 흔들림이에요. 묶음이 작으면 방향이 매번 조금씩 달라지는데, 이 흔들림이 꼭 나쁘지만은 않아요. 어중간한 자리를 빠져나오는 데 도움이 되고, 새 자료에 대한 성적이 오히려 나은 경우도 있어요. 묶음이 아주 크면 걸음이 매끄러워지는 대신 한 번의 걸음이 아까워져요.

학습률과 함께 움직여요

묶음을 키우면 한 걸음의 방향이 그만큼 믿을 만해져요. 그래서 걸음 폭도 조금 키워 주는 것이 보통이에요. 묶음을 키워 놓고 학습률을 그대로 두면 한 바퀴에 밟는 걸음이 줄어든 만큼 학습이 느려져요.

큰 모델을 여러 장치에 나눠 학습할 때는 장치마다 묶음을 하나씩 맡아 계산하고 결과를 합쳐요. 이때 실제 묶음 크기는 장치 수만큼 커지기 때문에, 학습률과 몸풀기 구간을 함께 손보지 않으면 초반에 학습이 망가지기 쉬워요.

남는 자료와 섞기

자료 수가 묶음 크기로 딱 나누어떨어지지 않으면 마지막 묶음만 작아져요. 이 자투리를 그대로 쓰기도 하고, 계산 크기를 맞추려고 버리기도 해요. 한 바퀴가 끝나면 자료를 다시 섞고 묶음을 새로 짜니까, 이번 바퀴에서 빠진 자료가 다음 바퀴에는 들어가요.

묶음을 짤 때 한 종류만 몰리지 않게 하는 것도 중요해요. 한 대야가 전부 같은 종류로 채워지면 그 걸음은 한쪽으로만 쏠려요. 자료를 잘 섞어 두는 것만으로 대부분 해결돼요.

길이가 제각각인 문장이나 크기가 다른 사진을 묶을 때는 한 묶음 안의 크기를 맞춰 주는 손질이 따로 필요해요. 짧은 문장 뒤를 빈칸으로 채우거나 사진을 같은 크기로 잘라 붙이는 식이죠. 이 손질까지 끝나야 묶음 하나를 한꺼번에 계산할 수 있어요.