모델 크기 (Model Size) 뜻 — 비유로 쉽게

1비유로 이해하기

독서실에서 시험공부를 하는데, 참고서를 책상 위에 다 펼쳐 놓아야만 문제를 풀 수 있다고 해 봐요. 얇은 책이면 책상 한쪽에 여유 있게 놓이지만, 두꺼운 전집이면 책상 위에 다 올라가지 않아요. 책이 좋고 나쁘고를 떠나서 자리가 없으면 아예 펼칠 수가 없어요.

모델 크기도 이 이야기예요. 모델은 학습하면서 정해 둔 숫자를 어마어마하게 많이 들고 있고, 답을 만들 때마다 그 숫자를 훑어요. 그래서 계산하는 장치가 쓰는 책상 위에 숫자를 통째로 올려 둬야 해요.

책상이 좁으면 방법은 두 가지예요. 더 얇은 책을 고르거나, 글씨를 작게 줄인 축약본을 쓰거나.

2자세히 알아보기

'B'는 개수를 세는 단위예요

모델 이름 옆에 붙은 7B, 13B, 70B 같은 표기는 파라미터 개수를 줄여 쓴 거예요. B는 십억을 뜻하는 영어 단어의 머리글자라서, 7B는 파라미터 70억 개, 70B는 700억 개를 말해요.

파라미터는 모델이 학습하면서 조금씩 고쳐 온 숫자예요. 처음에는 아무 의미 없는 값에서 출발했다가 수많은 예시를 보면서 조정돼 지금 값이 됐어요. 이 숫자들의 모음이 모델이 배운 것의 전부예요.

그래서 크기는 성능 자체가 아니라 그릇의 크기에 가까워요. 담을 자리가 넓다는 뜻이지, 그 자리에 좋은 것이 담겼는지는 학습에 쓴 자료와 방법이 정해요.

개수가 곧 자리 차지예요

숫자 하나를 저장하려면 자리가 필요해요. 흔히 쓰는 방식에서는 숫자 하나에 두 칸쯤 들어요. 파라미터가 70억 개면 대략 140억 칸이고, 기가바이트로 치면 14 언저리예요.

계산하기 쉬운 어림이 있어요. 'B' 앞의 숫자에 2를 곱하면 필요한 기가바이트가 대략 나와요. 7B는 14 언저리, 13B는 26 언저리, 70B는 140 언저리예요.

여기에 여유분이 더 붙어요. 대화가 길어질수록 지금까지 오간 내용을 담아 두는 임시 자리가 늘어나거든요. 그래서 실제로는 어림한 값보다 몇 기가바이트를 더 잡아 둬야 해요.

내 컴퓨터에서 돌지 안 돌지

집에서 모델을 돌릴 때 가장 먼저 막히는 곳은 그래픽 카드에 달린 메모리예요. 계산은 그래픽 카드가 하고, 계산하려면 숫자가 그 카드의 메모리 위에 올라가 있어야 해요.

그래픽 메모리가 8기가바이트인 컴퓨터에 14기가바이트짜리를 올리려 하면 올라가지 않아요. 억지로 돌리면 부족한 몫을 일반 메모리나 저장 장치에서 그때그때 꺼내 오는데, 오가는 시간이 계산 시간보다 길어져서 한 글자 나오는 데 몇 초씩 걸려요.

그래서 같은 모델이라도 어떤 컴퓨터에서는 시원하게 돌고 어떤 컴퓨터에서는 사실상 못 써요. 성능이 부족해서가 아니라 책상에 안 올라가서예요.

축약본으로 줄이기

크기를 줄이는 흔한 방법은 숫자를 덜 촘촘하게 적는 거예요. 소수점 아래를 길게 적던 것을 굵게 반올림해서 적으면 숫자 하나가 차지하는 자리가 절반, 다시 그 절반까지 줄어요.

숫자 하나가 쓰던 자리를 네 토막에서 한 토막으로 줄이면 14기가바이트짜리가 4 언저리로 내려와요. 집에 있는 평범한 그래픽 카드에도 올라가는 크기예요. 답의 품질은 조금 흐려지지만 일상적인 질문에서는 차이를 느끼기 어려운 경우가 많아요.

다만 줄이기에도 한계가 있어요. 너무 굵게 반올림하면 계산이 눈에 띄게 흔들려요. 큰 모델을 심하게 줄이기보다 처음부터 작게 만든 모델을 쓰는 편이 나을 때도 있어요.

클수록 좋은 건 아니에요

큰 모델은 아는 것이 많고 복잡한 요청도 잘 따라와요. 대신 느리고, 돌리는 데 드는 장비와 전기도 많이 들어요.

시킬 일이 정해져 있다면 작은 모델이 오히려 나아요. 정해진 형식으로 정리하기, 짧게 줄이기, 갈래 나누기 같은 일은 작은 모델도 충분히 해내고 답도 훨씬 빨리 나와요.

크기를 고르는 기준은 하나예요. 시킬 일에 필요한 만큼만. 남는 크기는 성능이 아니라 기다림과 비용으로 돌아와요.

3조금 더 정확하게

모델 크기는 보통 학습으로 정해진 파라미터의 개수로 말해요. 실제로 차지하는 용량은 파라미터 개수에 숫자 하나를 담는 칸 수를 곱한 값이고, 여기에 계산 중간값과 대화 기록을 담아 둘 자리가 더해져요. 흔히 쓰는 방식은 숫자 하나에 2바이트를 쓰고, 굵게 반올림하는 방식은 0.5바이트까지 내려가요.

비유가 어긋나는 곳도 있어요. 참고서는 필요한 쪽만 펴 봐도 되지만, 보통의 모델은 답 한 조각을 만들 때마다 파라미터 전부를 한 번씩 훑어요. 필요한 부분만 골라 쓰는 구조도 있는데, 이런 모델은 전체 크기는 커도 한 번에 쓰는 몫은 훨씬 작아요. 그래서 표기가 같아도 실제로 필요한 장비는 다를 수 있어요. 크기가 성능 순위를 뜻하지 않는다는 점도 기억할 만해요. 잘 학습된 작은 모델이 대충 학습된 큰 모델을 앞서는 일은 드물지 않아요.

4직접 해보기

Netron (모델 구조 뷰어) ailearn.space 모델 파일을 열면 층마다 숫자가 몇 개씩 들어 있는지 눈으로 확인할 수 있어요

5흔한 오해

7B의 B가 바이트를 뜻한다고 읽기 쉽지만, 실제로는 파라미터 개수를 세는 십억 단위예요.
내려받은 파일 용량만큼만 메모리가 있으면 된다고 생각하기 쉽지만, 실제로는 대화가 길어질수록 늘어나는 임시 자리까지 더 있어야 해요.
크기가 클수록 항상 똑똑하다고 여기기 쉽지만, 실제로는 무엇을 얼마나 잘 학습했는지가 크기만큼이나 중요해요.

7한 줄 요약

그러니까모델 크기는 파라미터가 몇 개인지를 세는 말이고, 그 개수가 곧 필요한 메모리로 이어져 내 컴퓨터에서 돌릴 수 있는지를 갈라요.

이 비유가 이해에 도움이 됐나요?

잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02