깊이와 너비Depth vs Width
층을 몇 단 쌓을지와 한 단을 얼마나 넓힐지
- 깊이는 거쳐 가는 층의 수, 너비는 한 층에 놓인 계산 단위의 수예요.
- 깊이는 차례대로, 너비는 한꺼번에 처리돼요. 이 차이가 속도와 장비 선택을 갈라요.
- 깊게 쌓으면 앞 단계의 결과 위에 새로운 판단을 얹을 수 있어요. 단순한 특징이 복잡한 개념으로 자라요.
- 넓게 만들면 한 단계에서 더 많은 것을 동시에 살필 수 있어요. 담아 둘 수 있는 정보량이 늘어요.
- 둘 중 하나만 키우면 손해예요. 실제 모델은 적당한 비율을 지키며 함께 키워요.
목차
1비유로 이해하기
택배 물류센터에 들어온 상자는 여러 단계를 거쳐요. 먼저 지역별로 한 번 나누고, 나뉜 것을 동네별로 다시 나누고, 마지막에 배송 구역별로 또 나눠요. 이 단계가 몇 개인지가 깊이예요.
한 단계 안을 들여다보면 분류 레인이 여러 줄 깔려 있어요. 레인이 열 줄이면 상자 열 개를 동시에 처리해요. 한 단계에 깔린 레인 수가 너비예요.
같은 크기의 센터라도 설계는 갈려요. 단계를 여섯 번 거치되 레인을 적게 깔 수도 있고, 단계를 세 번으로 줄이고 레인을 두 배로 깔 수도 있어요. 상자가 지나는 길의 성격이 완전히 달라져요.
2자세히 알아보기
깊게 쌓으면 생기는 일
층 하나가 하는 일은 생각보다 소박해요. 들어온 값을 조금 다르게 섞어 내보내는 정도예요. 그런데 이 소박한 일을 여러 번 겹치면 이야기가 달라져요. 첫 층이 찾아낸 단순한 신호 위에 둘째 층이 새 신호를 얹고, 셋째 층이 다시 그 위에 얹어요.
사진을 다루는 모델을 보면 이 계단이 눈에 보여요. 앞쪽 층은 밝기가 바뀌는 경계선을 찾고, 가운데 층은 그 선들이 모여 만든 무늬를 찾고, 뒤쪽 층은 무늬가 모여 만든 물체를 알아봐요. 층을 얕게 만들면 이 계단을 오를 기회 자체가 없어져요.
대신 깊이에는 대가가 따라요. 층은 차례대로 지나야 하니 층이 두 배가 되면 답이 나오기까지 걸리는 시간도 두 배에 가까워져요. 깊어질수록 학습 신호가 앞쪽까지 닿기 어려워지는 문제도 생겨요. 건너뛰기 통로와 눈금 맞추기 장치가 붙은 뒤에야 아주 깊은 모델을 실제로 학습시킬 수 있게 됐어요.
넓게 만들면 생기는 일
너비를 늘리는 건 한 단계에 레인을 더 까는 일이에요. 같은 단계에서 서로 다른 특징을 더 많이 동시에 살필 수 있어요. 담아 둘 자리가 넉넉해지니 외워 둘 수 있는 지식의 양도 늘어요.
너비의 장점은 속도에 있어요. 한 층 안의 계산은 서로를 기다리지 않으니, 수천 개를 한꺼번에 굴리는 장비에 잘 맞아요. 층 수를 늘릴 때와 달리 답이 나오는 시간이 그만큼 길어지지는 않아요.
다만 넓히기는 비싸요. 너비를 두 배로 하면 층 하나가 지닌 숫자는 대략 네 배가 돼요. 너비만 계속 늘리면 새로운 판단 단계는 얻지 못한 채 저장 공간만 커져요.
같은 크기라면 어느 쪽이 좋을까
전체 크기를 정해 놓고 깊이와 너비를 어떻게 나눌지 살펴본 실험은 꾸준히 있었어요. 결과는 대체로 이래요. 어느 한쪽으로 극단으로 치우치면 손해지만, 어느 정도 범위 안에서는 비율보다 전체 크기가 성능을 훨씬 크게 좌우해요.
그래서 실제 설계는 검증된 비율을 크게 벗어나지 않아요. 크기를 키울 때 깊이와 너비를 함께 늘리되, 학습이 흔들리지 않는 선에서 조정해요.
읽는 쪽에서 기억할 점은 하나예요. 층 수만 보고 모델을 비교할 수 없어요. 층이 적어도 넓으면 더 큰 모델일 수 있어요.
속도와 장비가 갈리는 지점
답을 기다리는 시간을 줄이고 싶다면 깊이가 먼저 걸려요. 층은 하나씩 순서대로 지나야 해서, 아무리 좋은 장비를 붙여도 층 수만큼의 순서는 줄일 수 없어요.
반대로 메모리가 부족하다면 너비가 먼저 걸려요. 넓은 층은 한 번에 올려 둘 숫자가 많아서 그래픽 메모리를 크게 잡아먹어요.
그래서 같은 크기라도 깊고 좁은 모델은 기다리는 시간에 불리하고, 얕고 넓은 모델은 메모리에 불리해요. 어느 쪽이 낫다기보다 어디에 쓸 모델인지가 답을 정해요.
3조금 더 정확하게
깊이는 층의 개수, 너비는 한 층의 계산 단위 수를 말해요. 언어 모델에서는 블록 수를 깊이로, 조각 하나가 들고 다니는 숫자의 개수를 너비로 부르는 경우가 많아요. 층 하나가 지닌 숫자는 너비의 제곱에 가깝게 늘고 층 수에는 비례해 늘어요. 너비를 두 배 하면 네 배, 깊이를 두 배 하면 두 배가 되는 셈이에요.
비유가 어긋나는 곳도 있어요. 물류센터의 레인은 같은 일을 나눠 맡지만, 신경망 한 층의 단위들은 저마다 다른 특징을 봐요. 또 상자는 단계를 지나도 모습이 그대로지만, 신경망을 지나는 숫자 묶음은 층마다 통째로 새 값으로 바뀌어요. 물류센터는 단계를 늘리면 늘 느려지기만 하지만, 신경망은 깊어지면서 얻는 정확도가 늘어난 시간을 갚아 주는 경우가 많다는 점도 달라요. 그래서 설계는 늘 두 축을 함께 조정하는 문제가 돼요.
4직접 해보기
5흔한 오해
층이 깊을수록 무조건 성능이 좋다고 생각하기 쉽지만, 실제로는 너비가 따라오지 않으면 깊이만 늘려 봐야 얻는 게 적어요.
층 수가 곧 모델 크기라고 여기기 쉽지만, 실제로는 층이 적어도 넓으면 훨씬 큰 모델일 수 있어요.
너비를 늘리는 게 층을 추가하는 것보다 싸다고 생각하기 쉽지만, 실제로는 너비를 두 배로 하면 숫자는 네 배쯤 늘어나요.
7한 줄 요약
그러니까깊이는 차례로 거치는 층의 수, 너비는 한 층의 폭이고, 잘 만든 모델은 둘 중 하나만 키우지 않고 비율을 지키며 함께 키워요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02