미니 배치Mini-Batch

1한 포기씩도, 백 포기 한꺼번에도 아니에요

자료 한 장마다 값을 고치면 걸음은 아주 자주 밟지만 방향이 매번 크게 흔들려요. 유별난 자료 한 장이 통째로 방향을 결정해 버리거든요. 계산 효율도 나빠요. 한 장씩 처리하면 여러 계산을 한꺼번에 몰아서 하는 장치의 힘을 거의 못 써요.

반대로 자료 전부를 보고 한 번만 고치면 방향은 아주 정확해요. 대신 자료가 수백만 장이면 한 걸음을 떼는 데 한참이 걸리고, 그 자료를 전부 메모리에 올릴 수도 없어요.

묶음으로 나누면 두 가지를 다 얻어요. 묶음 안에서 평균을 내니 방향이 크게 흔들리지 않고, 묶음이 끝날 때마다 걸음을 떼니 진행이 빨라요. 오늘날 거의 모든 학습이 이 방식으로 돌아가요.

2묶음 크기를 무엇으로 정하나요

첫 번째 기준은 메모리예요. 묶음 안 자료를 한꺼번에 계산하려면 자료도, 중간 결과도 모두 올려 둬야 해요. 묶음을 두 배로 키우면 중간 결과를 담는 메모리가 대략 두 배가 돼요. 모델 값 자체가 차지하는 몫은 그대로라서 전체가 꼭 두 배가 되지는 않아요. 학습 도중 메모리가 모자란다는 오류를 만나면 가장 먼저 줄이는 것이 묶음 크기예요.

두 번째 기준은 흔들림이에요. 묶음이 작으면 방향이 매번 조금씩 달라지는데, 이 흔들림이 꼭 나쁘지만은 않아요. 어중간한 자리를 빠져나오는 데 도움이 되고, 새 자료에 대한 성적이 오히려 나은 경우도 있어요. 묶음이 아주 크면 걸음이 매끄러워지는 대신 한 번의 걸음이 아까워져요.

3학습률과 함께 움직여요

묶음을 키우면 한 걸음의 방향이 그만큼 믿을 만해져요. 그래서 걸음 폭도 조금 키워 주는 것이 보통이에요. 묶음을 키워 놓고 학습률을 그대로 두면 한 바퀴에 밟는 걸음이 줄어든 만큼 학습이 느려져요.

학습을 여러 장치에 나눠 돌릴 때는 장치마다 같은 모델을 하나씩 두고, 서로 다른 묶음을 맡아 계산한 뒤 결과를 합치는 방식을 많이 써요. 이때 실제 묶음 크기는 장치 수만큼 커지기 때문에, 학습률과 몸풀기 구간을 함께 손보지 않으면 초반에 학습이 망가지기 쉬워요.

4남는 자료와 섞기

자료 수가 묶음 크기로 딱 나누어떨어지지 않으면 마지막 묶음만 작아져요. 이 자투리를 그대로 쓰기도 하고, 계산 크기를 맞추려고 버리기도 해요. 한 바퀴가 끝나면 자료를 다시 섞고 묶음을 새로 짜니까, 이번 바퀴에서 빠진 자료도 다음 바퀴에는 대개 들어가요.

묶음을 짤 때 한 종류만 몰리지 않게 하는 것도 중요해요. 한 대야가 전부 같은 종류로 채워지면 그 걸음은 한쪽으로만 쏠려요. 자료를 잘 섞어 두는 것만으로 대부분 해결돼요.

길이가 제각각인 문장이나 크기가 다른 사진을 묶을 때는 한 묶음 안의 크기를 맞춰 주는 손질이 따로 필요해요. 짧은 문장 뒤를 빈칸으로 채우거나 사진을 같은 크기로 잘라 붙이는 식이죠. 이 손질까지 끝나야 묶음 하나를 한꺼번에 계산할 수 있어요.