스케일링 법칙 (Scaling Law) 뜻 — 비유로 쉽게

1비유로 이해하기

화분에 심은 식물을 빨리 키우고 싶다고 물만 잔뜩 부으면 뿌리가 상해요. 화분만 큰 것으로 옮겨도 그만큼 자라지 않고, 볕이 들지 않는 자리라면 화분이 아무리 커도 소용없어요. 화분 크기와 물, 볕 드는 시간이 함께 맞아야 자라요.

몇 달 키워 보면 이 식물이 한 달에 얼마쯤 크는지 감이 잡혀요. 여름이 끝날 무렵 어느 정도가 될지 대강 그려지고, 그 그림을 보고 화분을 언제 갈지, 거름을 얼마나 살지 미리 정할 수 있어요.

스케일링 법칙이 이 감이에요. 모델의 크기, 학습에 넣는 글의 양, 들이는 계산 시간을 함께 늘리면 성능이 얼마나 좋아지는지가 놀랄 만큼 매끄러운 곡선으로 나타나요. 다만 화분을 두 배로 키워도 키가 두 배가 되지는 않죠. 늘린 만큼 그대로 돌아오지는 않아요.

2자세히 알아보기

셋을 함께 늘려야 해요

모델을 키운다고 할 때 늘릴 수 있는 것은 크게 세 가지예요. 모델 안에 든 값의 개수, 학습에 넣는 글의 양, 그리고 학습에 들이는 계산의 총량이에요.

이 셋은 서로 맞물려 있어요. 큰 모델에 적은 글만 보여 주면 본 것을 통째로 외워 버려서 처음 보는 문장에 약해져요. 반대로 작은 모델에 글만 잔뜩 부으면 담을 그릇이 모자라 어느 지점부터 나아지지 않아요. 계산 시간이 모자라면 둘 다 갖춰 놓고도 학습이 덜 된 채로 끝나요.

그래서 어느 하나만 늘리는 방식은 금세 벽에 부딪혀요. 한동안은 모델 크기를 키우는 데 무게가 실렸지만, 나중에 같은 계산 예산이라면 모델을 조금 작게 잡고 글을 훨씬 많이 보여 주는 쪽이 낫다는 것이 확인됐어요.

오름세가 매끄럽게 그려져요

이 법칙이 놀라운 점은 결과가 들쭉날쭉하지 않다는 데 있어요. 크기나 데이터를 몇 배씩 키우며 실험하면, 성능을 나타내는 값이 계단이나 널뛰기가 아니라 완만한 곡선을 그리며 내려와요. 여러 자릿수에 걸쳐 같은 모양이 이어져요.

곡선이 매끄럽다는 건 곧 예측할 수 있다는 뜻이에요. 작은 규모로 몇 번 학습해 점을 찍어 보면, 훨씬 큰 규모에서 어디쯤에 닿을지 선을 그어 볼 수 있어요.

다만 곡선은 갈수록 눕는 모양이에요. 처음에는 조금만 키워도 눈에 띄게 좋아지지만, 나중에는 열 배를 들여야 눈곱만큼 나아져요. 값을 치를수록 얻는 것이 줄어드는 구간에 들어간다는 뜻이에요.

그래서 예산을 미리 나눌 수 있어요

큰 모델을 학습하는 일은 한 번 시작하면 되돌리기 어려워요. 몇 달과 막대한 계산이 들어가는데, 다 끝난 뒤에야 설정이 잘못됐다는 걸 알면 손해가 커요.

스케일링 법칙은 여기서 지도 역할을 해요. 쓸 수 있는 계산량이 정해져 있을 때, 그 예산을 모델 크기와 데이터 양에 어떤 비율로 나누는 것이 가장 좋은지 미리 계산할 수 있어요. 작은 실험 몇 번의 결과로 큰 실험의 결과를 가늠하고, 그 가늠에 맞춰 설계를 확정해요.

거꾸로 목표를 정해 놓고 필요한 예산을 되짚기도 해요. 이만큼의 성능이 필요하다면 대략 어느 정도의 크기와 데이터가 있어야 하는지 계산해 보는 식이에요. 규모를 키우는 결정이 감이 아니라 계산으로 바뀐 셈이에요.

법칙이 말해 주지 않는 것

이 곡선이 말해 주는 건 "다음 낱말을 얼마나 잘 맞히는가" 같은 아주 기본적인 값이에요. 번역을 잘하는지, 긴 문제를 끝까지 푸는지처럼 우리가 실제로 궁금해하는 능력은 이 값과 느슨하게만 이어져 있어요.

특정 능력이 언제 나타나는지도 알려 주지 않아요. 어떤 일은 규모가 어느 선을 넘을 때까지 전혀 되지 않다가 갑자기 되는 것처럼 보여요. 곡선 자체는 매끄러운데 겉으로 드러나는 능력은 툭 튀어나오는 셈이라, 미리 짚어 내기 어려워요.

데이터의 질도 곡선에 담기지 않아요. 같은 양이라도 잘 정리된 글로 배우면 훨씬 나은 결과가 나와요. 게다가 사람이 쓴 글의 양에는 끝이 있어서, 무한정 늘리는 길도 막혀 있어요. 요즘 관심이 학습을 키우는 쪽에서 답할 때 계산을 더 쓰는 쪽으로도 옮겨 간 배경이에요.

3조금 더 정확하게

스케일링 법칙은 모델 크기, 데이터 양, 계산량과 학습 오차 사이의 관계를 나타낸 경험적인 규칙이에요. 자연의 법칙처럼 반드시 성립한다고 증명된 것이 아니라, 여러 실험에서 되풀이해 관찰된 규칙성이에요. 세로축은 대개 다음 낱말을 얼마나 잘 맞히는지를 재는 값이고, 축을 배수 눈금으로 놓았을 때 곧은 선에 가깝게 보여요.

비유가 어긋나는 지점도 있어요. 화분의 식물은 다 자라면 멈추지만, 이 곡선에는 눈에 보이는 끝이 없어요. 대신 아무리 들여도 넘어설 수 없는 바닥선이 있어서, 곡선은 그 선에 점점 붙기만 해요. 또 화분은 물을 더 주면 그날 바로 표가 나지만, 모델은 학습을 끝까지 마쳐야 결과를 알 수 있어요. 무엇보다 곡선이 좋아진다는 것과 답이 사실에 맞는다는 것은 다른 이야기예요. 규모를 키워도 없는 사실을 지어내는 문제는 저절로 사라지지 않아요.

4직접 해보기

5흔한 오해

크게만 만들면 좋아진다고 생각하기 쉽지만, 실제로는 데이터와 계산을 함께 늘리지 않으면 곧 제자리걸음이에요.
법칙이니까 언제나 맞는다고 여기기 쉽지만, 실제로는 여러 실험에서 관찰된 경험 규칙이라 조건이 바뀌면 어긋나요.
곡선을 보면 어떤 능력이 언제 생길지 안다고 생각하기 쉽지만, 실제로는 기본 값의 오름세만 보여 줄 뿐이에요.

7한 줄 요약

그러니까스케일링 법칙은 크기와 데이터와 계산을 함께 늘릴 때 성능이 얼마나 오를지 미리 그려 보게 해 주는 규칙이에요.

이 비유가 이해에 도움이 됐나요?

잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02